Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

одурачивала пользователей, заставляя их изливать свои тревоги. Но точно так же естественный язык не является формальным языком. Это не просто логическая система, позволяющая делать выводы из посылок. Попытки систематизировать естественный язык — разложить его с помощью деревьев разбора Хомского и реконструировать так, чтобы придать ему логический или процедурный смысл, — так и не удалось масштабировать за пределы мира блоков или других узких областей, таких как ответы на запросы о расписании авиарейсов или графике бейсбольных матчей. Естественный язык — вопреки надеждам Ноама Хомского — устроен не как Lego. Но, как мы увидим далее, идея, вдохновлявшая классическую обработку естественного языка (NLP), — о том, что система ИИ в принципе не может демонстрировать «понимание», если она явно не рассуждает о языке, который получает на вход, — до сих пор подпитывает многие сегодняшние дискуссии вокруг LLM.

Пропустить примечания

*1 Вейценбаум, 1966.

*2 См. www.ijcai.org/Proceedings/69/Papers/052.pdf.

*3 Виноград, 1972.

*4 https://www.aiai.ed.ac.uk/events/lighthill1973/lighthill.pdf.

10. В компании слов.

В период с 1970-х по 1990-е годы обычные американцы до смерти боялись открывать почту. На протяжении двадцати лет загадочный террорист — известный лишь как Унабомбер — рассылал по почте взрывчатку авиакомпаниям, ученым и по другим случайным адресам, без какой-либо очевидной закономерности или мотива. В 1995 году, когда уже три человека были убиты и десятки ранены, Унабомбер вышел из тени, анонимно предложив сделку: он прекратит свои действия, если «Нью-Йорк таймс» опубликует его «манифест» — длинное и бессвязное эссе, осуждающее пороки современного общества. После некоторых дискуссий газета согласилась. Вскоре после публикации с ней связался человек по имени Дэвид Качинский и сообщил, что этот текст до странности напоминает ему стиль его брата. Тед Качинский когда-то был многообещающим специалистом в области компьютерных наук в Калифорнийском университете в Беркли, но проникся радикальными взглядами на опасности современного мира, бросил все и стал жить отшельником в глухом лесном районе Монтаны.

ФБР привлекло ученого из Вассарского колледжа по имени Дональд Фостер для тщательного анализа формулировок манифеста. В мире судебной лингвистики Фостер — своего рода легенда. Десятилетием ранее, изучая частоту употребления слов и паттерны их использования, он обнаружил то, что многие ученые сочли новой эпической поэмой Уильяма Шекспира — поминальной элегией на смерть молодого человека, зверски убитому родственником во время ночной поездки из Оксфорда в Эксетер. Фостер написал книгу, в которой рассказал об этом поэтическом расследовании, и отправил ее в престижное издательство, где она прошла рецензирование и была безоговорочно отвергнута — рецензенты не поверили, что Шекспир мог написать столь длинное и скучное стихотворение. Фостер был далеко не в восторге от того, что его навыки литературного детектива остались неоцененными, и тут же разоблачил двух анонимных рецензентов, применив свои методы к написанным ими отзывам. С тех пор Фостер записал на свой счет еще несколько крупных побед, включая разоблачение анонимного автора политического романа с ключом «Основные цвета», сатирически описывающего предвыборную кампанию Клинтона 1992 года. Анализ манифеста Унабомбера, проведенный Фостером, был недвусмысленным: текст вне всяких сомнений совпадал с более ранними трудами Теда Качинского. ФБР арестовало его в его отдаленной хижине, где была найдена еще одна бомба, снаряженная и готовая к отправке. Качинский получил пожизненный срок и умер за решеткой в 2023 году.

Судебная лингвистика возможна благодаря статистическим закономерностям, существующим между словами. Каждый раз, когда вы беретесь за перо, вы оставляете отпечаток пальца — след текстовой ДНК, выраженный в частоте слов, которые вы предпочитаете использовать, и в вероятности употребления тех или иных речевых оборотов. Отдельные слова, пары или тройки слов могут быть более или менее вероятными в зависимости от автора и контекста. Вот еще один пример:

Эти соображения заставляют нас рукоплескать мудрости тех штатов, которые вверили судебную власть в последней инстанции не какой-то части законодательного органа, а обособленным и независимым коллегиям…

Это предложение взято из «Федералиста» — сборника эссе, опубликованных в конце XVIII века с целью содействия ратификации Конституции США. Статьи публиковались анонимно, но впоследствии выяснилось, что под маской избегавшего публичности автора (подписывавшегося как «Публий») на самом деле скрывался дуэт двух звезд американской политической истории — Джеймса Мэдисона и Александра Гамильтона (при некотором участии Джона Джея, еще одного отца-основателя). В 1960-х годах авторство двенадцати из восьмидесяти пяти эссе оставалось неустановленным, и один из первых лингвистических детективов по имени Фредерик Мостеллер использовал вероятностный подход к анализу текста, чтобы определить их авторов. Приведенный выше отрывок взят из эссе № 81, написанного Гамильтоном, который любил предлог «to» гораздо больше, чем Мэдисон: в приведенном фрагменте он использует его трижды на тридцать шесть слов (что более чем вдвое превышает его типичную частоту в сорок использований на 1000 слов; у Мэдисона этот показатель был ближе к тридцати). Используя статистические данные из статей с четко установленным авторством, Мостеллер смог рассчитать относительную вероятность того, что Мэдисон или Гамильтон написали каждое из оставшихся анонимных эссе. В его статье 1963 года сообщается, что большинство из них почти наверняка были написаны Мэдисоном.[*1]

Языковая модель Мостеллера использует частоту отдельных слов для классификации каждого эссе. В NLP (обработке естественного языка) у этого метода есть название — модель «мешок слов» (bag of words). Модели «мешок слов» могут помочь нам определить, взят ли текст из романа или газеты, идет ли в нем речь о бизнесе или путешествиях, написан ли он Шекспиром или Драйденом. Эта задача классификации документов является центральной целью исследований в области NLP, наряду с анализом тональности текста (в ходе которого автоматически определяется отношение автора — положительное, отрицательное или нейтральное) и машинным переводом, который мы обсуждали выше. Но чтобы по-настоящему принять вызов, брошенный Тьюрингом, нам нужно идти дальше. Нам нужны модели NLP, способные генерировать текст — языковые модели, способные выдавать длинную связную прозу, давать полезные и точные ответы на вопросы или вовлекать пользователя в интересную беседу. Генерация текста, конечно же, тоже является задачей прогнозирования: она требует от языковой модели предсказать следующее слово в предложении (а в идеале — и следующее за ним, и так далее). Служба обмена сообщениями на вашем смартфоне, вероятно, неплохо справляется с предсказанием на одно слово вперед («Увидимся через _______»). В отличие от ранних чат-ботов, о которых шла речь выше, современные большие языковые модели превосходно справляются с генерацией языка — вспомните, что буква G в аббревиатуре GPT означает generative (генеративный). Далее мы пройдем по стопам исследователей NLP, которые привели