Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

вашей первой мыслью, вероятно, будет то, что здесь пропущено какое-то слово. Но на самом деле это абсолютно грамматически верное предложение — оно просто сбивает вас с толку, предлагая более привычный разбор (NP: the old man… [старик]), который отличается от его фактического разбора (NP: the old [старики], VP: man the boat [управляют лодкой]). Еще один классический пример — when the dog scratched the vet took off his muzzle (предоставлю вам самим разобраться в его правильном разборе). Такие предложения особенно трудны для RNN, поскольку скрытое состояние изменяется в соответствии с ожидаемой интерпретацией (NP: the old man…), которую затем невозможно отменить, не повернув время вспять. Параллельная обработка (с механизмом внимания) в трансформере облегчает улавливание этих тонких скрытых течений в смысле предложения — опять же потому, что благодаря самовниманию он может анализировать контекст «задним числом», что позволяет ему понимать, какие части предложения связаны друг с другом.

Поскольку трансформер поглощает входные данные одним махом, его возможности неизбежно ограничиваются длиной контекста — количеством слов, которые вмещаются в запрос. На самом деле большинство современных моделей NLP не кодируют слова напрямую, а вместо этого получают «токены». Токены — это сублексические единицы, включающие в себя распространенные фрагменты слов, такие как суффиксы, обозначающие форму герундия (ing) или превосходную степень (est), различные знаки препинания и специальные токены, указывающие на начало и конец запроса, а также обычные слова вроде toast («тост») и hamster («хомяк») (большинство БЯМ имеют словарь объемом около 50 000 токенов, каждый из которых кодируется вектором признаков длиной 12 288 — это означает, что язык моделируется в 12 000-мерном пространстве). По мере масштабирования моделей длина контекста увеличивается: как у GPT-4, так и у Claude длина контекста теперь составляет 100 000 токенов и более (что равно примерно половине объема увесистого тома «Улисса» Джеймса Джойса), а модель Gemini Ultra от Google имеет длину контекста более миллиона токенов. Но даже ничтожных 512 токенов самой маленькой модели GPT-2 (около 400 слов) было бы более чем достаточно для работы с приведенным выше отрывком о поездке к тете в Японию, где требовалось сделать прогноз о разговоре по-японски на основе слова Япония, встретившегося четырьмя предложениями ранее.

Теперь становится понятно, почему масштаб действительно важен для БЯМ. Более крупные модели обладают бóльшим контекстом, что позволяет параллельно обрабатывать целые страницы текста. Наслаивая трансформеры друг на друга, где каждый использует механизм самовнимания, мы можем пропускать язык через своеобразный «вычислительный небоскреб», который выявляет связи каждого слова в любой позиции со всеми остальными. В сочетании с гигантскими объемами обучающих данных эти инновации позволяют БЯМ моделировать очень далекие связи в тексте — не просто понимать, что tree (дерево) указывает на одно значение слова bark (кора), а dog (собака) — на другое (лай), но и улавливать гораздо более глубокие смысловые связи в длинных прозаических отрывках. Сопоставляя паттерны среди токенов в начале, середине и конце книги, огромная трансформерная сеть способна понять, что нежелание Элизабет Беннет выходить замуж за Дарси в конце «Гордости и предубеждения» вызвано его первоначальным высокомерием и пренебрежением, описанными за много сотен страниц до этого. Для систем ИИ становится возможным уловить сложный политический или философский аргумент, который выстраивается постепенно, путем введения новых понятий и цитирования многочисленных эмпирических доказательств, по нарастающей превращаясь в убедительные доводы на протяжении многих тысяч слов. Становится возможным придумать новое блюдо, изучив различные способы сочетания ингредиентов в множестве рецептов из кулинарной книги. Короче говоря, становится возможным использовать язык так, как это делают грамотные, образованные люди изо дня в день.

БЯМ учатся генерировать человекоподобный язык исключительно на основе паттернов употребления слов, без какого-либо явного механизма разделения синтаксиса и семантики. Таким образом, их успех опровергает утверждения Ноама Хомского и его последователей о том, что естественному языку принципиально невозможно обучиться на основе одной лишь статистики текста. Ноам Хомский утверждал, что использование одной только статистики слов заставит вас ошибочно счесть фразу «бесцветные зеленые идеи яростно спят» неграмматичной, поскольку такие переходы, как «бесцветные зеленые» и «яростно спят», крайне маловероятны в английском языке. Согласно же теории Ноама Хомского, усвоение языка возможно только благодаря существованию универсальной грамматики — базового набора вычислительных операций, «вшитых» в человеческий разум и служат шаблоном для изучения синтаксических правил, встречающихся во всех языках мира, от африкаанс до зулу. Оказывается, это утверждение о невозможности обучения неверно. БЯМ вроде ChatGPT, Claude и Gemini научились строить абсолютно связные предложения, просто читая множество других предложений и учась предсказывать, какой токен будет следующим (более того, как это ни уязвляет наше самолюбие, ChatGPT весьма неплохо справляется с генерацией предложений, подражающих знаменитому примеру Ноама Хомского, таких как «безвкусные красные убеждения громко шепчут»).

Этот поразительный факт, похоже, еще не дошел до ортодоксальных хомскианцев, большинство из которых продолжают с ходу отвергать БЯМ. На самом деле весьма примечательно, что значительная часть лингвистического сообщества, судя по всему, отказывается признавать успех современных языковых моделей. Приведем один пример: в крупной работе, опубликованной в 2016 году, исследовались успехи и неудачи моделей типа seq2seq при решении ключевых грамматических задач, а также обсуждалось значение этих результатов для лингвистической теории.[*5] По состоянию на 2022 год эта статья была процитирована более 500 раз, что указывает на ее огромное влияние. Но на лингвистов она практически не повлияла. Среди этих цитирований лишь шесть принадлежали исследователям, работающим в области теоретической лингвистики; на самом деле статья собрала больше цитирований в сфере компьютерного моделирования в сельском хозяйстве.[*6] Отсюда, конечно же, следует вывод, что многим ученым, работающим в традиции Ноама Хомского, еще только предстоит смириться с тем фактом, что языковые модели могут создавать безупречно грамматически правильные предложения с помощью статистического моделирования больших текстовых корпусов, хотя их никто никогда не обучал строгим синтаксическим правилам. В одной из статей это описывается так: «Вряд ли в истории науки когда-либо существовала работающая вычислительная система, которая достигала бы столь высокой точности, но при этом отвергалась бы целой научной дисциплиной, не сумевшей создать даже отдаленно сопоставимых альтернатив».[*7]

Сам Ноам Хомский — патриарх рационалистической традиции. Как мы видели в части 1, рационалисты представляют мир (в данном случае языковой) как четко структурированную систему, где цель исследований ИИ — обнаружить простой набор правил, позволяющий искусственным агентам вести себя разумно. Точно так же и в случае с языком: теория Ноама Хомского опирается на идею, что язык — это игра, в чем-то похожая на шахматы. Представьте, что вам показывают шахматные партии и просят вывести правила, которыми руководствовались игроки. Некоторые