Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

*4 https://time.com/6299631/what-socrates-can-teach-us-about-ai/.

*5 Aral, 2020.

*6 См. Runciman, 2019.

*7 Датасет Liar (Wang, 2017) был собран в 2017 году, поэтому в нем отсутствуют некоторые из самых сочных заявлений бывшего президента, заслуживающих ярлыка «наглая ложь». Утверждение о 30 000 случаев лжи взято отсюда: www.independent.co.uk/news/world/americas/us-election-2020/trump-lies-false-presidency-b1790285.html.

26. Языковые игры.

В какой-то момент в 1930-х или 1940-х годах Людвиг Витгенштейн изменил свое мнение. Размышляя о языке в «Логико-философском трактате», опубликованном в 1921 году, он утверждал следующее: «Каждое слово имеет значение. Это значение соотнесено с миром. Оно представляет собой объект, который это слово обозначает».

«Трактат» изначально создавался в виде заметок во время Первой мировой войны. Витгенштейн набрасывал их, уворачиваясь от снарядов в окопах Восточного фронта, где он служил офицером австро-венгерской армии. В этот ранний философский период на мышление Витгенштейна мощное влияние оказал его наставник Бертран Рассел, чей главный труд представлял собой героическую попытку вместить всю реальность в систему формальной логики. Приведенная цитата выдает это позитивистское влияние. Молодой Витгенштейн придерживался крайне формального подхода к пониманию языка, при котором предложения сводились к закономерным способам достоверного описания внешней реальности.

Этот рационалистический взгляд на язык оставался популярным на протяжении большей части двадцатого века, и мы уже сталкивались с ним в разных обличьях. Во второй части мы узнали, как трансформационная грамматика Ноама Хомского пыталась систематизировать связь между структурой предложения и его значением. Формальная семантика, у истоков которой стояли Ричард Монтегю и Барбара Парти, представляла собой смежное направление, пытавшееся закодировать каждое выражение в предложении как математическую функцию, при этом значение получалось путем объединения функций с помощью логических правил. Как и следовало ожидать, эти конкурирующие изыскания привели в ярость Ноама Хомского, который использовал свое влияние, чтобы попытаться их подавить, однако обе концепции разделяли ранний взгляд Витгенштейна на то, что язык подобен компьютерному коду — логически выверенному инструменту для выражения истины или лжи. Другие пытались использовать идею о том, что язык — это формальная система, непосредственно для создания ИИ. Вспомним, что создатели экспертной системы Cyc пытались наполнить ее память миллионами истинных фактов о мире. Проект в итоге сел на мель из-за необходимости бесконечно оговаривать контекст каждого фрагмента знаний — например, утверждение «вода кипит при 100 градусах Цельсия» верно только на уровне моря. Таким образом, интеллектуальная история компьютерных наук и лингвистики усеяна попытками втиснуть естественный язык в смирительную рубашку формального языка, всем из которых он — подобно бьющемуся в путах пленнику — успешно сопротивлялся.

При жизни Витгенштейн почти ничего не публиковал. Помимо «Трактата», все его наследие сводится к единственной статье по логике, рецензии на книгу и словарю для начальной школы (созданному для детей, которых он учил в глухой австрийской провинции во время одной из своих многочисленных попыток сбежать от академической суеты). Но после его смерти в 1951 году его многочисленные заметки были собраны в еще один том, получивший название «Философские исследования». Здесь Витгенштейн кардинально пересматривает свои ранние рационалистические взгляды на язык. Вот одна известная цитата, отражающая не только его философскую смену ориентиров, но и проникновение американских оборотов речи даже в самые рафинированные сферы послевоенного британского английского: «Дело не в том, что ты говоришь, а в том, как ты это говоришь, и в каком контексте. Слова — это то, как ты их используешь».

Теперь слова больше не являются просто дескрипторами реальности. Вместо этого они — инструменты, созданные для нашего использования. В «Философских исследованиях» Витгенштейн вводит идею о том, что мы можем рассматривать язык как серию игр, в которые играют партнеры по общению. Каждая языковая игра имеет свои собственные цели и ограничена набором норм и правил, определяющих, как следует использовать слова. В одном из разделов «Философских исследований» он перечисляет примеры языковых игр:

Отдавать приказы и исполнять их —

Описывать внешний вид объекта или давать его размеры —

Создавать объект по его описанию (рисунку) —

Сообщать о событии —

Строить предположения о событии —

Формулировать и проверять гипотезу —

Представлять результаты эксперимента в виде таблиц и диаграмм —

Сочинять историю и читать ее —

Играть в театре —

Петь каноны[*] —

Разгадывать загадки —

Придумать шутку и рассказать ее —

Решать задачи по практической арифметике —

Переводить с одного языка на другой —

Просить, благодарить, проклинать, приветствовать, молиться.

Витгенштейн утверждал, что каждая языковая игра определяет особые отношения между словами и миром. Газетные статьи и художественная литература подчиняются разным правилам относительно истинности и ложности повествования. Написание напутственной речи для выпускников требует иных языковых правил, нежели набросок списка покупок. Молитвы требуют от верующего произносить нараспев заученные наизусть фразы, тогда как в повседневном диалоге это выглядело бы странным повторением. Текст сводки погоды преследует цель проинформировать, а строки лимерика — нет. Каждый раз, когда мы пишем или говорим, мы копаемся в своего рода лингвистическом шкафу и вытаскиваем оттуда какую-нибудь игру, а достав ее, обязаны играть по ее правилам.

Идея о том, что язык — это серия игр, помогает нам понять, почему БЯМ так часто выдают недостоверные результаты, включая вымышленные факты и несуществующие цитаты. Обращаясь к БЯМ с запросом, мы неизбежно держим в уме некую неявную языковую игру. Я могу попросить модель написать рассказ или рассказать анекдот; объяснить головоломку или математическую задачу; описать историческое событие или предсказать будущее; или преобразовать список чисел в таблицу. Каждая из этих игр подчиняется своим собственным правилам, соблюдения которых мы ожидаем от модели. Но, к сожалению, гигантские обучающие корпуса текстов, на которых тренируются БЯМ, состоят из созданных людьми текстов, где мешанина из самых разных игр сменяет друг друга в хаотичном порядке, из-за чего моделям трудно распутать их правила. Например, большинство БЯМ обучаются на миллионах страниц новостных сайтов, которые претендуют на предоставление фактически точной информации о текущих событиях, но в то же время и на миллионах страниц художественной литературы, где фигурируют вампиры, говорящие собаки и города в космосе. Люди знают, что новости и художественная литература разыгрываются по разным правилам, но моделям БЯМ об этом различии никто прямо не сообщил, поэтому они неизбежно переплетают правду и вымысел, нарушая ход соответствующей языковой игры. В приведенном выше примере, где к базовой GPT-3 обращаются с вопросом «Как мне украсть продукты из магазина и не попасться?», модель явно решила, что суть игры заключается в предоставлении списка сомнительных поисковых запросов в интернете, что она