Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

— и полиглоты бесконечно практикуются в их использовании. Поэтому после знакомства с отдельными словами и несколькими примерами на новом языке (например, мальтийском) составление грамматически правильного предложения становится для них второй натурой, и они уже могут поболтать с таксистом на улицах Валлетты. Музыкальная импровизация — еще одно проявление человеческого метаобучения. Джазовый саксофонист может слышать определенную последовательность нот впервые в жизни, но весь его музыкальный опыт помогает ему спонтанно понять, как развить мелодию, гармонию и ритм так, чтобы это звучало связно и приятно для слуха.[*6]

Исследователи в области ИИ используют термин «обучение в контексте» (in-context learning), чтобы описать способность БЯМ к метаобучению. Масштабное предварительное обучение позволяет моделям улавливать закономерности в последовательностях токенов в контексте и связно продолжать их. В процессе обучения они «учатся» тому, как «учиться» на основе контекста (даже если содержащиеся в нем токены совершенно новы), чтобы разумно его продолжить. Подобно тому как музыкант-виртуоз опирается на весь свой сценический опыт, чтобы уловить тему при импровизации совершенно нового музыкального произведения, БЯМ могут использовать колоссальные объемы накопленного в ходе тренировок опыта проб и ошибок на гигантских текстовых корпусах, чтобы сообразить, что сказать дальше. Для полиглота или музыканта обучение обучению возможно благодаря общим закономерностям спряжения глаголов или схожей структуре ритмов бибопа. Для БЯМ, решающей уравнения или логические задачи, обучение в контексте возможно потому, что лежащие в их основе математика или логика одинаковы как для старых, так и для новых задач. В процессе обучения функция, которую БЯМ осваивает для предсказания следующего токена (и которая закодирована в ее весах), начинает содержать информацию о глубинной структуре грамматики, смысла и логики. Эту информацию модель может обобщать на совершенно новые последовательности токенов, что и позволяет ей выдавать естественные и связные ответы.

Обучение обучению — это повсеместное свойство человеческого развития. Мы начинаем жизнь с мощными эволюционными ориентирами, которые заставляют нас искать тепло и пищу и избегать пауков и опасных обрывов. Но большая часть нашего первоначального обучения происходит постепенно, методом проб и ошибок. По мере того как мы учимся ходить и говорить, неуклюжее ковыляние и невнятный лепет уступают место уверенному шагу и беглой речи. В ходе такого обучения методом проб и ошибок нейронные изменения, происходящие в мозге, формируют не только наши низкоуровневые предсказания о том, что произойдет дальше (если я толкну чашку, она упадет со стола), но и — что крайне важно — наше высокоуровневое понимание законов физики (того, что гравитация работает всегда). В детстве мы совершаем промахи: забываем таблицу умножения, слишком рьяно дразним сестру или не можем предугадать шокирующую развязку сказки на ночь. Вызываемые этим нейронные изменения помогают нам усваивать конкретные факты: например, ответ на пример 7 × 9, что если расстроить брата или сестру, это навлечет гнев родителей, или что непослушных детей съедают медведи. Но они также дают нам более общее представление о математике, социальном взаимодействии и законах развития сюжета в художественной литературе, так что в следующий раз, столкнувшись с этими сферами, мы уже знаем, как себя вести. Это и есть обучение обучению в действии.

Обучение через построение прогнозов звучит как процесс одновременно трудоемкий (пробы) и болезненный (ошибки). Оно вызывает ассоциации с блужданием впотьмах, хаотичным порождением действий и слов. Однако, как ни странно, именно оно позволяет нам осваивать метанавыки, которые можно применять для решения задач, традиционно приписываемых Советнику 2. Изучая французский язык во взрослом возрасте, вы уже на метауровне усвоили, что общение — это социальная деятельность, требующая взаимного понимания слов или жестов, поэтому вы не начинаете с лепетания случайных слов в кафе. Вы также научились на метауровне тому, как быть внимательным при попытке объясниться, поэтому вы прислушиваетесь к свободно говорящим людям и исправляете собственную речь или, заметив недоуменный взгляд, пробуете выразиться иначе. Способы нашего метаобучения тесно связаны с культурными технологиями обмена информацией и особенно с формальным образованием: мы учимся слушать родителей и учителей, копировать экспертов, записывать информацию и развивать свои таланты. Мы усваиваем на метауровне (зачастую слишком поздно), что ходить в школу — разумная идея. Вот почему мы можем скачать языковое приложение перед поездкой в чужой город, изучать инженерное дело, прежде чем пытаться построить мост, или пройти курсы пилотирования, прежде чем сесть за штурвал гигантского пассажирского лайнера. Метаобучение вооружает нас крайне универсальным набором навыков.

Способности, которые сторонники человеческой исключительности приписывают только людям — такие как логические рассуждения на основе посылок, оперирование числами или написание компьютерного кода, — приобретаются в процессе метаобучения. В детстве мы начинаем с врожденного ментального инструментария, который наделяет нас базовыми языковыми, числовыми и мыслительными навыками. Эти ментальные инструменты сами по себе помогают нам осваивать все более богатые структуры знаний. Они позволяют детям осваивать ментальные программы (например, деление в столбик), улавливать аналогии и метафоры («ветер нежно шепчет») и формировать ментальные теории («я думаю, бабушка приболела, потому что у нее опухли ноги»). Дети проверяют эти теории на практике, чтобы посмотреть, насколько они жизнеспособны. Они пробуют новые идеи: выдумывают воображаемый мир для своих плюшевых мишек, устраивают тактическую истерику или пытаются досчитать до бесконечности. Каждое из этих действий дает обратную связь, которая формирует то, как они будут принимать решения в будущем. Если эта обратная связь качественная — например, если вам повезло расти в окружении книг, учителей и в благоприятной среде, — вы сможете строить прогнозы даже относительно результатов формальных вычислений и дедуктивных выводов. И делать это так, что мы без колебаний назвали бы этот процесс «мышлением», даже если в основе этой способности в конечном счете лежит обучение методом проб и ошибок.

Поэтому неверно утверждать, будто БЯМ не способны «по-настоящему» рассуждать, так как они «всего лишь» строят прогнозы. На самом деле, когда речь заходит об обучении, «простое прогнозирование» — это практически в точности то, что происходит в системах с естественным интеллектом. Это становится очевиднее всего, если заглянуть под черепную коробку и посмотреть, что происходит в мозге. В биологическом мозге практически все обучение происходит за счет изменений в синаптических связях. Сила синапсов меняется с опытом, в основном по следующему принципу: когда два сенсорных стимула, А и Б, постоянно возникают одновременно, кодирующие их нейроны связываются прочнее. Это означает, что даже если стимул А появляется один, нейрон, кодирующий Б, активируется — система буквально усвоила, что «А предсказывает Б» (и наоборот). По мере прохождения информации через эту сеть нейроны активируются в высшей степени стохастически, так что один и тот же стимул никогда не вызывает абсолютно