Химик в мире нейросетей - Максимилиан Копылович

По сути, нейросеть — это множество слоёв узлов-«нейронов», связанных «весами». Каждый вес — это число, которое показывает, насколько важен тот или иной признак. В начале обучения веса случайны, и сеть гадает наобум. Ей показывают, например, формулу молекулы и её экспериментальную растворимость. Сеть предсказывает что-то, сравнивает с правильным ответом и чуть-чуть «подкручивает веса», чтобы в следующий раз ошибиться меньше. После миллионов таких корректировок «веса» настраиваются так, что сеть начинает предсказывать правильно даже для тех молекул, которых она никогда не видела. Это и есть «обучение». Химия даёт нейросетям много пищи для обучения: у нас, химиков, накоплены гигантские базы данных. Миллионы веществ, тысячи реакций при разных условиях, миллионы спектров и других физико-химических характеристик. Всё, что было опубликовано за последние двести лет, постепенно оцифровывается. И нейросети «читают» эту библиотеку и формируют своё собственное, статистическое «понимание» химии.

Итак, нейросеть — это не страшный чёрный ящик, а просто ученик, который учится на примерах. Ты уже пользуешься этим каждый день, когда смотришь рекомендованные видео на YouTube или когда твой телефон распознаёт лицо. В химии этот подход тоже начинает широко применяться, ведь теперь не нужно выписывать правила — сеть сама в своих глубинах выведет их из данных. И она же не умолчит про исключения, ведь статистика не делит мир на чёрное и белое. Но если ты думаешь, что достаточно взять одну гигантскую нейросеть, скормить ей все реакции мира — и готов универсальный химик-предсказатель, то спешу тебя разочаровать. Одна большая сеть похожа на одного универсального сотрудника, который пытается делать всё сразу: синтезировать новые вещества, чинить ЯМР, мыть посуду и писать статьи. Получается медленно и посредственно. К счастью, природа (и инженеры) придумали выход — артель экспертов, или Mixture of Experts (MoE).

Допустим, тебе надо создать нейросеть, которая предсказывает исход химической реакции. Ты обучаешь её на миллионах примеров: реакции в воде, в органических растворителях, с катализаторами и без, при высоком давлении и при комнатной температуре. Сеть старается запомнить всё сразу и неизбежно усредняет: реакции с водой она предсказывает чуть хуже, чем хотелось бы, реакции с палладием — тоже с огрехами, а уж если речь заходит о редких стереоспецифических превращениях — пиши пропало. Это называется «проблема размазанной памяти»: пытаясь объять необъятное, сеть теряет точность в каждом конкретном случае. А что если внутри одной большой сети создать много маленьких, каждая из которых будет специализироваться на своём типе задач, а маршрутизацией заказов займётся отдельный «диспетчер»? Когда поступает заказ, роутер-диспетчер смотрит, откуда и куда ехать, и мгновенно решает, кому передать «пассажира». Так устроена Mixture of Experts (MoE).

Теперь замени пассажиров молекулами. Есть молекула, для которой нужно предсказать растворимость, или токсичность, или лучший способ синтеза. Роутер (это тоже небольшая нейросеть) смотрит на молекулярную «подпись»: есть ли в ней атомы металлов, много ли водородных связей, насколько она гибкая. И отправляет запрос одному или нескольким экспертам: «Эй, эксперт по водным растворам, это к тебе!», «А эту ароматическую систему пусть забирает себе эксперт по каталитическому кросс-сочетанию». Эксперты — небольшие суб-нейросети (слои), натренированные на своих узких задачах, — выдают предсказание, а роутер взвешивает их ответы и выдаёт итоговый вердикт с вероятностью. Это позволяет одновременно быть и достаточно точным в каждом конкретном случае, и покрывать всё разнообразие химического пространства.

Самое удивительное — специализация экспертов возникает сама, в процессе обучения. Ты не задаёшь вручную: «Ты будешь экспертом по сольватации, а ты — по стереохимии». Ты просто подаёшь на вход миллионы примеров, и сеть в ходе настройки весов сама обнаруживает, что выгоднее разделиться на специализированные суб-нейросети (блоки, «эксперты»). Один «эксперт» начинает чаще срабатывать для молекул с гидроксильными группами и даёт для них меньшую ошибку — и роутер, видя это, всё чаще направляет «спиртовые» запросы именно к нему. Другой «эксперт» случайно лучше предсказал несколько реакций с участием переходных металлов — и постепенно закрепляет за собой нишу металлоорганической химии.

Это очень похоже на то, как в настоящей артели ремесленников плотник сам берётся за работу с деревом, а кузнец — за работу с металлом, хотя никакой начальник им этого не навязывал. Просто разделение труда эффективнее, и оно проявляется в процессе совместной работы. В химических MoE-моделях исследователи после обучения нейросети с удивлением обнаруживают, что эксперт №3 специализируется на предсказании ЯМР-сдвигов атомов в ароматических кольцах, а эксперт №7 — на реакциях элиминирования. Никто их этому не учил специально, просто так сложились веса.

Архитектура Mixture of Experts — не просто академическая игрушка. Она лежит в основе многих передовых моделей. Например, современные большие языковые модели (такие как Mixtral) используют MoE, чтобы быстро отвечать на вопросы, задействуя лишь малую часть параметров для каждого запроса. В химии этот подход позволяет строить предсказательные системы, которые одновременно могут оценивать и физико-химические свойства, и биологическую активность, и пути синтеза, не ориентируясь на «среднюю температуру по больнице». Когда мы позже будем обсуждать ретросинтез в ASKCOS или мультимодальные модели IBM, знай: под капотом у них часто находится именно такая «артель экспертов» (MoE-модель).

В следующей главе мы вспомним наших старых знакомых — DFT и квантовые расчёты — и поймём, почему их «честная физика» всё чаще проигрывает обученным моделям. А пока — давай сами создадим простенькую нейросеть, чтобы ты почувствовал, как она нащупывает закономерности.

Попробуй сам

Открой браузер и найди сайт Teachable Machine от Google. Это такая песочница, где можно обучить нейросеть прямо в браузере, без регистрации и смс. Создай проект «Изображения» и придумай два класса: «Кошки» и «Собаки». Теперь загрузи по десятку фотографий тех и других — просто натаскай из интернета первые попавшиеся снимки. Нажми «Обучить модель». Через минуту у тебя будет готовая нейросеть, которая распознаёт кошек и собак по веб-камере. Поднеси к камере картинку с котом — она уверенно скажет: «Кошка, 99%». Поднеси плюшевого тигра — может выдать «Кошка, 70%», потому что он полосатый и усатый, и плевать, что он игрушечный. Ты не писал ни строчки правил про уши и хвосты. Сеть просто просмотрела твои примеры и сама вывела, кто есть кто. А теперь представь, что вместо кошек и собак ты загружаешь картинки со структурными формулами спиртов и альдегидов. Ровно так работают и химические нейросети — только примеров у них не двадцать, а миллионы, и вместо пикселей они переваривают хитрые молекулярные дескрипторы.

Если хочешь прямо сейчас почувствовать себя химиком-кибернетиком, открой любой редактор формул (например, Ketcher), нарисуй штук тридцать разных спиртов и тридцать альдегидов, сохрани их