Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

целенаправленно зазубрить ответы на вероятные экзаменационные вопросы, имея лишь минимальное представление о самом предмете. Мальчик из хора может научиться петь «Торжественную мессу» Бетховена, не понимая ни слова по-латыни. Производство языка и его понимание — это разные вещи, и первое вовсе не подразумевает второе.

Существует известный мысленный эксперимент, иллюстрирующий эту идею, который придумал американский философ Джон Сёрл.[*4] Оператора (человека или машину), не знающего китайского языка, запирают в комнате. Он получает сообщения, написанные по-китайски, и должен дать на них подходящий ответ. К счастью, в комнате лежит большая книга правил, в которой оператор может найти лучший ответ абсолютно на любой запрос. Понимает ли оператор, о чем эти сообщения? Очевидно, нет, ведь он не говорит по-китайски. Он лишь имитирует понимание, зачитывая ответы из свода правил. Основной эксепционалистский аргумент заключается в том, что когда LLM отвечают на промпт, они ведут себя подобно оператору «китайской комнаты» — ищут подходящий ответ в своих колоссальных обучающих данных, сами при этом ничего не понимая. Они знают, как ответить, но не знают, о чем эти запросы. Мысленный эксперимент Сёрла породил бесконечные дискуссии. Его часто используют для доказательства того, что критерии машинного интеллекта, основанные на языковом выводе (такие как тест Тьюринга), в корне ошибочны.

Оператор в «китайской комнате» — это попугай. Он повторяет слова, найденные в книге правил, ничуть не постигая их смысла. Многие сочли это убедительной метафорой для LLM. В одной крайне влиятельной работе LLM описываются как «стохастические попугаи», где слово «стохастический» указывает на то, что они кодируют вероятность переходов между словами.[*5] Авторы утверждают, что LLM — это система для «беспорядочного сшивания последовательностей лингвистических форм, почерпнутых из огромного массива обучающих данных, на основе вероятностной информации об их сочетаемости, но без какой-либо привязки к смыслу».

Так неужели LLM — просто попугаи? Если присмотреться повнимательнее, мысленный эксперимент Сёрла уязвим для некоторых весьма каверзных контраргументов. Среди наиболее сокрушительных — так называемое «системное возражение», указывающее на то, что ответы в «китайской комнате» генерируются не одним лишь оператором, а ансамблем из оператора и книги правил. Сёрл хитрым образом скрыл интенциональность системы в книге правил, которая способна ответить на любой из бесконечного числа возможных запросов пользователя и, следовательно, должна быть способна улавливать их смысл. Таким образом, согласно этой логике, LLM все-таки понимают запросы, но их вычисления распределены между двумя модулями: оператор отвечает за ввод и вывод данных, а книга правил берет на себя промежуточные мыслительные процессы. Как мы увидим далее, это разделение труда между модулями говорения и мышления весьма похоже на то, что происходит в человеческом мозге.

Воображаемая книга правил Сёрла содержит таблицу соответствий, которая сопоставляет любую фразу на китайском языке с подходящим ответом. Но, как мы знаем от фон Гумбольдта, язык бесконечно продуктивен — он осуществляет «бесконечное использование конечных средств». Поэтому книга должна была бы быть бесконечно большой, что сделало бы её чтение крайне неудобным. Если же (более реалистично) предположить, что книга правил конечна, то она должна обладать способностью к обобщению — использовать имеющиеся знания для работы с новыми, ранее не встречавшимися запросами. Точно так же корпуса текстов, на которых обучаются LLM, содержат триллионы токенов, но они не бесконечны, поэтому LLM должны уметь отвечать на совершенно неожиданные промпты — как на китайском, так и на любом другом языке. Мы знаем, что они успешно справляются с этим, поскольку во время оценки производительности на бенчмарках исследователи ИИ проводили эксперименты, прочесывая обучающие данные в поисках фрагментов текста, которые могли быть воспроизведены дословно. Время от времени они действительно обнаруживают, что ответы LLM просто скопированы из обучающих данных, словно попугаем, но обычно дело обстоит иначе.

Поэтому, вопреки заявлениям критиков, LLM занимаются вовсе не продвинутой версией копипаста. Эта способность справляться с новыми промптами отличает LLM от студента, зазубрившего ответы к экзамену (которого срежет любой каверзный вопрос), и от хориста, заучившего латинские звуки без понимания их смысла (и потому не способного поддержать вежливую светскую беседу с Папой Римским). Так что, хотя сравнение и выглядит остроумной колкостью, LLM — это не просто «стохастические попугаи». Они похожи на попугаев лишь тем, что все используемые ими слова изначально заимствованы у людей. Но ведь и люди учатся языку у других людей, так что это вряд ли можно назвать фатальным недостатком. LLM способны соединять слова и понятия совершенно новыми, невиданными ранее способами, формулируя сложные ответы на неожиданные запросы. Попугаи — стохастические или любые другие — на это не способны.

Отрицание LLM как простых машин для прогнозирования было бы полностью оправданным, если бы исторические заявления рационалистов о невозможности обучения подтвердились. Но, как назло, сегодня LLM прекрасно справляются со многим из того, что, как им предрекали, они никогда не смогут освоить, — например, со складыванием грамматически правильных предложений и решением логических головоломок. Это вынудило эксепционалистов прибегнуть к запутанному аргументу: даже если LLM неплохо решают задачи на рассуждение, на самом деле они не рассуждают, и вопреки их умению объяснять сложные идеи, они их не понимают. Напротив, люди, демонстрирующие точно такие же успехи, признаются «настоящими». И люди, и LLM могут давать одинаковые ответы, но первые действительно думают и понимают, тогда как вторые используют лишь вычислительный фокус. У людей якобы есть некая неопределенная, невидимая волшебная искра, которая делает их мышление особенным и уникальным.

Вплоть до XIX века было широко распространено убеждение, что живые организмы движимы невидимой жизненной силой или жизненным принципом, действие которого не зависит от обычных физических или химических процессов в теле или мозге. Эта концепция была известна как витализм. Сегодня некоторые аргументы эксепционалистов — включая категорическое отрицание того, что система машинного обучения в принципе способна научиться «думать», — апеллируют к своего рода современной версии этого виталистического взгляда, согласно которой «истинное» человеческое мышление приводится в действие таинственной, еще не обнаруженной силой, отсутствующей у машин (в одной статье ее ехидно окрестили «анобтаниумом»[*6]). Подобно негодующему религиозному отпору революционным идеям Галилея и Дарвина, этот аргумент основан на догме, а не на доказательствах.

Конечно, есть много вещей, которые LLM делать не умеют, и во многих отношениях их мышление не похоже на наше. Они не обладают внутренней мотивацией в виде любопытства к миру, как человеческие дети. Системы их памяти ограничены, а это означает, что после развертывания они не могут сохранять новую информацию. Они пока не способны строить и реализовывать планы в реальном мире. Возможно, по мере развития исследований мы обнаружим какие-то фундаментальные, еще не выявленные ограничения