Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

человеческий ребенок. Если ограничить обучающие данные языковых моделей 100 миллионами токенов, LLM значительно уступят людям практически по всем мыслимым показателям языковой компетенции. Следовательно, люди осваивают язык гораздо эффективнее, чем LLM. Как мы можем это объяснить?

В том, что касается изучения языка, у детей есть множество естественных преимуществ перед LLM. Самое важное из них заключается в том, что у них есть доступ к другим сенсорным данным, которые помогают им понимать мир и говорить о нем. Люди воспринимают мир не только через слова; у большинства есть глаза, уши и руки, которые говорят нам, как он выглядит, звучит и ощущается. Семантическая память человека формируется под влиянием зрительных и слуховых соответствий (понятия скрипки и виолончели семантически связаны, потому что скрипки и виолончели похожи внешне и звучат похоже — по крайней мере, по сравнению со скрипкой и туманным горном). Даже устная речь содержит информацию о смысле, которая отсутствует в обычном тексте, — например, ритм, интонацию и ударение. В части 3 мы обсудим аргументы в пользу того, что понимание языка невозможно без такого «заземления» на реальные сенсорные сигналы. Еще одним ускорителем для человеческого языка служит то, что, в отличие от LLM, мы сильно мотивированы социальными факторами — такими как потребность заводить друзей, побеждать в споре или обсуждать последние сплетни. LLM (пока еще) не используют язык явно инструментальным образом, чтобы целенаправленно убеждать других в своих взглядах или достигать конкретных целей. Вместо этого их обучение полностью пассивно: они полагаются на статистические закономерности в своем обучающем корпусе, чтобы научиться правильно выстраивать последовательности токенов.

Тем не менее, весьма вероятно, что Ноам Хомский был прав, утверждая, что генетическое наследие играет важнейшую роль в том, как люди осваивают язык. Человеческий мозг не инициализируется случайным образом, как веса в LLM. Напротив, мы рождаемся с готовыми паттернами нейронных связей, которые помогают нам учиться полезным вещам с головокружительной быстротой — например, избегать волосатых пауков, уплетать шоколад при любой возможности, обращать внимание на лица и внимательно слушать, когда кто-то говорит. Мы не знаем точно, какие именно преимущества дает нам эта врожденная схема связей для освоения языка. Она вполне может помогать нам настраиваться на социальное взаимодействие, наиболее интересные формы которого обычно включают слова. И она может, как предполагал Ноам Хомский, таинственным образом формировать нейронные контуры, облегчающие понимание предложений. Как бы то ни было, суть в том, что мы не можем всерьез сравнивать обучение LLM с освоением языка в процессе развития (у отдельного индивида, скажем, от рождения до свободного владения речью), поскольку человеческие дети учатся не как tabula rasa, а получают мощную фору от эволюции.

Но столь же несправедливо сравнивать обучение LLM с полной эволюцией человеческого языка — с совокупным языковым опытом тысяч поколений Homo sapiens, накопленным с тех пор, как люди впервые начали делиться мыслями, структурированно задействуя свой голосовой аппарат. Дело в том, что, как нам известно еще со времен Дарвина, биологическая эволюция не работает путем передачи опыта от поколения к поколению: мы наследуем признаки наших родителей, но не знания, приобретенные ими в течение жизни. Таким образом, каждый ребенок рождается, не зная значений конкретных слов (что позволяет ему учить языки, на которых не говорят его родители), но с непреодолимой жаждой познания. Напротив, обучение LLM напоминает опровергнутую эволюционную теорию XIX века, известную как ламаркизм, поскольку каждый цикл обучения наследует от своих предшественников как вычисления общего назначения (такие как отслеживание паттернов согласования слов в предложении), так и конкретные знания (например, совместную встречаемость слов птица и перья в данном языке). Поэтому провести прямое сравнение траекторий обучения LLM и человека попросту невозможно. Это все равно что спрашивать, кто летает лучше — альбатрос или аэробус: все зависит от того, цените ли вы маневренность в воздухе или хотите долететь до Нью-Йорка.

Один из способов поставить этот вопрос — спросить, выполняют ли модели LLM, овладевшие языком, вычисления, похожие на те, что происходят в человеческом мозге. В отличие от трансформационных правил, которые предложил Ноам Хомский (они связывают предложения с примерно одинаковым значением путем перестановки слов в соответствии с законами синтаксиса), вычисления, применяемые в LLM, носят универсальный характер (и не ограничиваются английским языком). Вычислительные приемы, которые мы обсуждали выше, — нелинейное преобразование, сжатие, рекуррентная память и внимание — повсеместно используются в исследованиях ИИ. Они уже доказали свою эффективность во многих неязыковых областях, помогая глубоким сетям распознавать лица, генерировать видео и играть в настольные игры на профессиональном уровне. Более того, эти же принципы лежат в основе наших излюбленных моделей работы мозга. Базовый принцип работы нейросети — при котором информация многократно нелинейно преобразуется для сопоставления входных данных с выходными — представляет собой обобщенное описание того, как происходят вычисления в биологическом мозге. Внимание (в трансформере) и краткосрочная память (в рекуррентных сетях или LSTM), возможно, сейчас и являются важнейшими инструментами глубокого обучения, но в нейробиологии и когнитивных науках они также давно служат для описания функций человеческого мозга. Таким образом, может существовать по крайней мере некоторое соответствие между вычислительными принципами, используемыми для освоения языка в трансформерах и в неокортексе человека.

Удивительно то, что хотя трансформеры потенциально являются универсальными инструментами, операции, которые они учатся выполнять в процессе языкового моделирования, могут оказаться знакомы классическим лингвистам, таким как Ноам Хомский. Исследователи ИИ могут покопаться в «разуме» нейросети, используя подходы, аналогичные тем, что нейробиологи применяют для изучения биологического мозга, и это дает подсказки о том, как творят свое волшебство все эти миллионы параметров. Мы уже видели, что модели seq2seq представляют информацию способами, подчиняющимися синтаксическим правилам, — например, когда они кодируют фразы «Джон-любит-Мэри» и «Мэри-любит-Джона» в виде противоположных паттернов активности. Но если покопаться внутри LLM, действительно можно увидеть следы тех самых трансформаций, которые изначально предложил Ноам Хомский.

Один из способов сделать это — визуализировать веса самовнимания в трансформере, которые, по сути, сообщают нам о предположениях сети насчет того, какие слова сочетаются друг с другом. Большинство трансформеров содержат множество модулей (или «голов») с различными весами самовнимания, и оказывается, что после обучения на естественном языке отдельные «головы» специализируются на разных синтаксических правилах, включая те, что известны нам из классической лингвистики. Например, веса внимания одной «головы» могут указывать на то, что она отслеживает согласование глагола с дополнением, другая отвечает за притяжательные местоимения, а третья берет на себя вспомогательные глаголы пассивного залога. Мы также можем обнаружить «головы», в которых расстояние в паттернах активности, вызываемых словами, отражает их расстояние в дереве