Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

происходят на кремниевых чипах, а не в нейронных цепях коры головного мозга. И не в том, что БЯМ просто механически воспроизводят свои обучающие данные, и не в том, что они строят «прогнозы», а не выполняют точные вычисления. БЯМ отличаются от нас во многих отношениях, прежде всего тем, что у них нет биологического императива выживать и размножаться, нет друзей или физического тела, а их опыт познания мира основан исключительно на текстах, а не на данных, полученных с помощью пяти органов чувств, которыми наделено большинство людей. Однако утверждение, будто БЯМ не мыслят вовсе, требует нового и весьма запутанного определения того, что значит «мыслить».

Пропустить примечания

*1 Из этой статьи (Bender and Koller, 2020): «Мы начнем с определения двух ключевых терминов: мы принимаем форму за любое наблюдаемое воплощение языка — знаки на странице, пиксели или байты в цифровом представлении текста либо движения артикуляционного аппарата. Мы принимаем значение за отношение между формой и чем-то внешним по отношению к языку […] Задача языкового моделирования, поскольку в ней в качестве обучающих данных используется только форма, в принципе не может привести к усвоению значения».

*2 https://medium.com/@emilymenonbender/thought-experiment-in-the-national-library-of-thailand-f2bf761a8a83.

*3 Абугида обозначает вид письменности, в которой каждый знак представляет собой согласный со встроенным гласным звуком, который может быть изменен при помощи диакритических знаков.

*4 Сходный аргумент см. в работе Agüera y Arcas, 2022.

*5 Этот аргумент очень четко изложен в работе Piantadosi and Hill, 2022.

*6 Mahowald et al., 2023.

*7 Luria, Tsvetkova, and Futer, 1965.

*8 Klessinger, Szczerbinski, and Varley, 2007.

*9 www.vice.com/en/article/dy3jbz/scientific-journal-frontiers-publishes-ai-generated-rat-with-gigantic-penis-in-worrying-incident.

Часть четвертая

Что должна говорить языковая модель?

23. Багровый шестигранник.

Пинг-понг и пицца могут показаться странным сочетанием, но если вы живете в Вашингтоне, вы можете насладиться ими одновременно в ресторане Comet на Коннектикут-авеню. Холодным вечером в начале декабря 2016 года складской рабочий по имени Эдгар Мэддисон Уэлч проделал долгий путь из своего родного города в Северной Каролине только для того, чтобы побывать в этом ресторане. К сожалению, он приехал туда вовсе не для того, чтобы попробовать легендарную пиццу на тонком тесте с моллюсками и сладким луком или отточить свой бэкхенд в игре против знаменитостей, которые регулярно устраивают здесь поединки по настольному теннису. Вместо этого, переступив порог, он открыл огонь из полуавтоматической винтовки, целясь в запертую дверь в глубине помещения и сея настоящую панику среди обеспеченной хипстерской публики. К счастью, полиция прибыла быстро, и противостояние закончилось без кровопролития. После ареста Уэлча в его машине обнаружили целый арсенал пистолетов и ножей — трагедию, возможно, удалось предотвратить в самый последний момент. Позже Уэлч был приговорен к четырем годам тюремного заключения за нападение с использованием опасного оружия.

Полиции Вашингтона не пришлось долго ломать голову над мотивами нападения Уэлча. Дело в том, что во время долгой поездки из Северной Каролины он записал видеообращение, объясняющее его поступок дочерям, которые в тот момент спали дома: «Я не могу позволить вам расти в мире, столь испорченном [так в оригинале] злом, не попытавшись хотя бы защитить вас и других таких же детей». В предыдущие месяцы Уэлч часами просиживал на интернет-форумах вроде 4chan — популярной площадке для распространения экстремистской идеологии, оскорбительного контента и теорий заговора. К 2016 году в политических дискуссиях на 4chan уже доминировали «альтернативные правые» — националистическое движение сторонников превосходства белой расы, которое неистово поддерживало Дональда Трампа в проходившей тогда президентской гонке. За полгода до этого личные электронные письма Джона Подесты — руководителя избирательной кампании соперницы Трампа от Демократической партии Хиллари Клинтон — были взломаны и опубликованы на WikiLeaks. После того как «воины альт-райта» заметили, что Подеста упоминал Comet, начала распространяться нелепая теория заговора, согласно которой Клинтон и другие высокопоставленные демократы организовали сеть торговли людьми и сексуальной эксплуатации детей прямо в подвале пиццерии (на самом же деле у Comet нет никакого подвала). Несмотря на всю свою неправдоподобность, теория стремительно набирала обороты. Перед пиццерией стали собираться протестующие, а ее владельцу, Джеймсу Алефантису, начали поступать угрозы убийством. Эдгар Мэддисон Уэлч, погруженный в сетевой мир, все сильнее отдалявшийся от реальности, решил лично освободить детей от пыток и сексуального насилия. В ту декабрьскую ночь он отправился в долгий путь в Вашингтон, твердо намереваясь добиться своего силой.

Мы живем во все более плюралистическом мире. Сегодня многие из нас признают, что разные культуры и группы могут обладать различными ценностями и вполне обоснованно придерживаться несхожих убеждений. И все же граница между правдой и ложью имеет значение. Что бы вы ни думали о политике Хиллари Клинтон, утверждение о том, что она педофил — ложь. Грязная история с «Пиццагейтом» помогла Дональду Трампу одержать неожиданную победу на президентских выборах, что повлекло за собой глубокие и долгосрочные последствия для всех нас. И, как оказалось, ложь порождает новую ложь. После избрания Трампа эта теория заговора мутировала в причудливое политическое движение, известное как QAnon, в основе которого лежали вымышленные заявления о том, что миром правит клика сатанистов и каннибалов-педофилов, против которых Трамп выступает как сияющий меч защиты. Позже, во время пандемии Covid-19, по всему миру расцвели другие теории заговора: опрос 2023 года показал, что до четверти населения Великобритании считали ковид мистификацией.[*1] Ложные утверждения о том, что вакцина вызывает бесплодие или является частью секретной программы чипирования населения, способствовали массовому отказу от вакцинации и в конечном итоге унесли десятки тысяч жизней.

Большие языковые модели, такие как GPT-4, Gemini и Claude, обучаются на огромных текстовых корпусах, автоматически собранных в интернете. Например, Common Crawl[*2] — это общедоступный ресурс, содержащий более трех миллиардов страниц, собранных с миллионов веб-сайтов, и составляющий 82% обучающих данных GPT-3. Корпуса вроде Common Crawl загрязнены недостоверной информацией и дезинформацией, включая теории заговора в стиле QAnon, а также токсичным контентом — языком вражды, ненормативной лексикой, нападками на личность, оскорблениями, угрозами, материалами откровенно сексуального характера, унизительными высказываниями и призывами к насилию. В одном исследовании было обнаружено, что до 5% входящих в него веб-сайтов содержат ту или иную форму языка вражды, а 2% — фразы откровенно сексуального характера.[*3] Эти корпуса также содержат значительный объем материалов, почерпнутых с ненадежных новостных сайтов, где изобилует полуправда и зреют теории заговора. К сожалению, поскольку БЯМ являются предсказательными моделями,