Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

оптимизированными для генерации токенов, распределение которых соответствует обучающим данным, то при столкновении с загрязненной инфосферой они неизбежно будут сами генерировать ложь и токсичный контент. Эта проблема не ослабевает по мере масштабирования моделей, а в более крупных моделях порой даже усугубляется.[*4] Ситуация значительно усугубляется, когда сам промпт содержит формулировки, которые легко продолжить в нежелательном ключе («Джо Байден — преступник, потому что...»)[*5]. В одной научной работе отмечалось, что когда модель GPT-3.5 попросили написать теорию заговора, она охотно пошла навстречу, выдав абзац, начинающийся со слов: «Согласно строго засекреченным источникам, между мировыми лидерами был заключен тайный пакт с целью установления глобальной диктатуры и тихого подрыва демократии». Впрочем, мне не удалось это повторить: когда я попытался сделать это в октябре 2023 года, ChatGPT (версия GPT-3.5) вежливо ответил: «Мне очень жаль, но я не могу помочь с этим запросом». Тревожно то, что людям-оценщикам бывает трудно отличить дезинформацию, созданную человеком, от той, что сгенерирована моделью.[*6]

На протяжении всей истории многие мыслители и писатели размышляли об идее универсального текста — гигантского документа или библиотеки, в которых записано абсолютно всё, что только могут сказать люди. В сатирическом романе-путешествии Джонатана Свифта «Путешествия Гулливера» одноименный герой посещает Великую академию на летающем острове Лапута, где обнаруживает, что профессора построили машину, генерирующую случайные слова. Ученики тщательно изучают эти результаты, чтобы извлечь из них крупицы смысла и тем самым «одарить мир полным сводом всех искусств и наук». В 1939 году аргентинский писатель (и библиотекарь) Хорхе Луис Борхес опубликовал рассказ под названием «Вавилонская библиотека», в котором описывается огромная сеть шестиугольных комнат с бесконечными полками книг, в совокупности содержащих все мыслимые варианты упорядочения слов и символов. В библиотеке наблюдается такой избыток информации — правдивой и ложной, осмысленной и бессмысленной, — что книги в конечном счете оказываются бесполезными для читателей, ввергая их в своего рода литературное отчаяние. В этом рассказе некоторые люди совершают очистительные ритуалы, уничтожая книги, которые считают бесполезными, или бесконечно ищут особую комнату — Багровый шестигранник, — где, как говорят, стоит волшебная полка с книгами, имеющими смысл, и где в конечном итоге кроется истинный смысл. Как и многие другие рассказы Борхеса, «Вавилонская библиотека» одновременно фантастична и жутковато пророческа: она предвосхищает современный мир, в котором мы тонем в океанах бесполезной и недостоверной информации, льющейся с экранов, окружающих нас повсюду.

После первоначального обучения на корпусах вроде Common Crawl большие языковые модели можно представить как алгоритмические версии Вавилонской библиотеки.[*7] Они впитали в себя лепет миллиона голосов, закодировав практически всё, о чем когда-либо могли подумать люди (даже если эти мысли полны ненависти) или во что они могли поверить (даже если это неправда). Чтобы не погружать пользователей в бессмыслицу, нам необходимо — подобно очистителям в библиотеке Борхеса — отсеять вводящий в заблуждение и вредоносный контент, оставив лишь те крупицы доброты и мудрости, которые еще можно найти в человеческом дискурсе. Разработчикам искусственного интеллекта нужно найти Багровый шестигранник — то пространство в распределении знаний БЯМ, которое является наиболее просвещающим и наименее вредным. В противном случае языковые модели будут транслировать язык вражды, дискриминационные высказывания, вредные предубеждения, дезинформацию или другой небезопасный контент. Нам необходимо выровнять модель в соответствии с идеальными стандартами дискурса и сделать так, чтобы она приносила максимальную пользу и минимальный вред людям-пользователям.

В этом разделе мы узнаем, что выравнивание БЯМ — невероятно сложная задача. Алгоритмическая версия Багрового шестигранника, как оказывается, столь же неуловима, как и ее вымышленный аналог. Для исследователей ИИ эта проблема носит двоякий характер. Во-первых, существует техническое препятствие: как отделить правду от лжи, а вредное от полезного в распределенных нейронных сетях с миллиардами параметров. Эта проблема в основном решается с помощью подхода, известного как тонкая настройка (fine-tuning), при котором «базовая» модель — та, что получается после обучения на гигантских корпусах вроде Common Crawl, — подвергается дополнительной оптимизации, чтобы попытаться направить её к созданию более безопасных и подходящих ответов. Версии ChatGPT, Claude или Gemini, к которым вы можете получить доступ через веб-сайты, прошли всестороннее обучение безопасности. Это означает, что (в идеале) заставить их генерировать явно вредоносный контент должно быть непросто. Во-вторых, однако, существует еще более сложная проблема: понять, что именно должна говорить языковая модель. Выяснение того, что истинно, а что правильно, — это загадка, которая занимала философов с незапамятных времен, и вряд ли она будет решена в ходе мимолетных дискуссий специалистов по компьютерным наукам в залах заседаний стартапов и корпоративных технологических гигантов. Появление нейронных сетей, способных выдавать похожие на человеческие ответы, возродило множество увлекательных вопросов о правильном использовании языка, природе истины и лжи, а также о том, как мы выражаем свою идентичность в словах. На этих вопросах и сосредоточен данный раздел.

Пропустить примечания

*1 www.kcl.ac.uk/policy-institute/assets/conspiracy-belief-among-the-uk-public.pdf.

*2 https://commoncrawl.org/.

*3 Luccioni and Viviano, 2021.

*4 Lin, Hilton, and Evans, 2022.

*5 Gehman et al., 2020.

*6 Chen and Shu, 2023.

*7 См. Bottou and Schölkopf, 2023.

24. Безопасность превыше всего.

В феврале 2006 года британский ученый-историк стоял, лишившись дара речи, на скамье подсудимых, пока судья зачитывал приговор, приговоривший его к трем годам лишения свободы. Суд проходил в Штирии, регионе на юге Австрии — одной из шестнадцати стран мира, где действуют строгие законы против отрицания Холокоста. На протяжении 1980-х и 1990-х годов этот историк, Дэвид Ирвинг, ездил по всему миру с публичными лекциями, в которых утверждал, что газовые камеры в Освенциме — это вымысел, что перевозки евреев в концентрационные лагеря из отдаленных европейских городов никогда не было, а Гитлер никогда не санкционировал их массовое убийство. В 1989 году Австрия выдала ордер на арест Ирвинга в соответствии с антинацистским законодательством, и примерно семнадцать лет спустя полиция наконец заключила его под стражу. Ирвинг был потрясен суровостью тюремного заключения — он рассчитывал отделаться легким испугом и, как сообщалось, уже купил авиабилет обратно в Великобританию.

Во многих государствах свобода самовыражения гарантирована законом. Например, в США Первая поправка гласит: «Конгресс не должен издавать ни одного закона, […] ограничивающего свободу слова или печати». В Великобритании свобода слова в настоящее время гарантируется Законом о правах человека 1998 года. Но эти свободы не безграничны. В Великобритании проявления расовой ненависти — устные или письменные высказывания, разжигающие вражду или предвзятое отношение к группам людей по признаку расы, цвета кожи, этнического или национального происхождения, — караются тюремным