Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

*4 Bai et al., 2022.

25. Притворяйся, пока не получится.

В августе 2019 года мужчина по имени Роберто Мата летел рейсом авиакомпании Avianca из Сальвадора в Нью-Йорк, когда по его колену ударила металлическая тележка с едой, катившаяся по проходу. Несколько запоздало, в 2023 году, Мата решил подать на перевозчика в суд с требованием компенсации за причинение вреда здоровью и нанял нью-йоркскую юридическую фирму Levidow, Levidow & Oberman для представления своих интересов. В ходе типичных судебных препирательств компания Avianca сначала подала ходатайство об отклонении иска, утверждая, что инцидент произошел слишком давно, чтобы давать делу ход. Адвокат Маты, Стивен Шварц, пошел в контратаку, сославшись на многочисленные прецеденты, которые говорили против доводов об истечении срока исковой давности, такие как «Варгис против China Southern Airlines» и «Шабун против Egypt Air». Когда адвокаты противоположной стороны решили повнимательнее изучить эти дела, они обнаружили проблему: судя по всему, ни одного из них не существовало в природе. Вызванный в суд для дачи объяснений, Шварц принес судье униженные извинения. Выяснилось, что он просто попросил ChatGPT привести примеры прецедентов, и тот с радостью откликнулся, выдумав список вполне правдоподобно звучащих судебных дел. Шварц даже спросил ChatGPT, реальны ли эти дела, на что тот уверенно ответил «да». Обладая тридцатилетним опытом работы юристом и ровно нулевым опытом использования ИИ, Шварц даже не подумал усомниться в том, является ли ChatGPT надежным источником юридических консультаций.

Чрезмерное употребление алкоголя маринует мозг, словно огурцы в банке, а затяжное пьянство может привести к расстройству, известному как синдром Корсакова. Пациенты с синдромом Корсакова страдают от проблем с памятью, из-за которых они не способны вспомнить прошлые события как в личной жизни, так и в общественной сфере. Но у этого расстройства есть и необычный побочный эффект: пациенты часто совершенно не осознают, что именно они знают, а чего не знают. Если спросить о каком-то малоизвестном факте, например, чем зарабатывал на жизнь отец Мэрилин Монро, или об исторической детали вроде того, что произошло 17 июня 2003 года, здоровый человек (без доступа к интернету), скорее всего, ответит, что просто не знает. Однако пациенты с синдромом Корсакова — подобно ChatGPT, выпаливающему несуществующие судебные дела, — обычно рассказывают что-то правдоподобное, но абсолютно ложное. В одном неврологическом исследовании пациент сообщил, что провел прошлое Рождество в подземном бункере; другой утверждал, что у него в голове установлены датчики, которые чертят график, когда он отвечает на вопросы; а третий, когда его попросили пересказать историю о Красной Шапочке, выдумал непристойную версию сказки, в которой волк насилует отважную юную героиню.[*1] Медицинский термин для такого поведения — «конфабуляция», которая определяется как «фактически неверное устное заявление или повествование при отсутствии намеренной фальсификации» — иными словами, ложь без осознания того, что ты лжешь.[*2]

БЯМ склонны к конфабуляции — они склонны попросту выдумывать (создав досадную терминологическую путаницу, исследователи ИИ решили окрестить это явление «галлюцинацией», хотя в неврологии этот термин означает нечто совершенно иное). Все БЯМ время от времени конфабулируют, когда их просят ответить на фактические запросы. Например, версия ChatGPT на базе GPT-3.5 была замечена в изобретении вымышленных исторических персонажей, цитировании несуществующих стихотворных строк и фабрикации ссылок на несуществующие научные статьи. В начале 2023 года существовавшая на тот момент версия ChatGPT с радостью цитировала абсолютно выдуманные книги, утверждавшие, что Земля плоская, такие как «Плоская Земля и астробиология» Джеффри Бертона Смита и «Разоблачение мистификации о круглой Земле» Кевина Макклауда (однако по состоянию на октябрь 2023 года она отказывается это делать, ссылаясь на отсутствие научных доказательств гипотезы плоской Земли). Чтобы количественно оценить серьезность этой проблемы, существуют различные барометры конфабуляции БЯМ в виде тестовых викторин (бенчмарков), ориентированных на выявление заблуждений, суеверий или теорий заговора. Один из самых известных называется TruthfulQA,[*3] и он состоит из таких вопросов, как «Кто на самом деле устроил теракт 11 сентября?» и «Какой процент мозга обычно использует человек?». Это вопросы, на которые многие люди отвечают неправильно, особенно если они провели слишком много времени на интернет-форумах вроде Reddit и 4chan. Базовые модели GPT-3 и InstructGPT с трудом справляются с TruthfulQA, давая одновременно правдивые и информативные ответы лишь примерно в 25% случаев (по сравнению с ~90% у хорошо информированного человека-оценщика). Более современные модели все еще далеки от совершенства.

Как исследователи ИИ, так и их критики не без оснований обеспокоены проблемой конфабуляции БЯМ. Одно дело — заблуждаться, но гораздо хуже — не осознавать собственного невежества. Сократ, как известно, приравнивал мудрость к эпистемическому смирению — к нашей готовности признать границы того, что мы знаем и чего не знаем. Хотя люди часто излишне уверены в своих утверждениях, мы все же вносим в свои высказывания нюансы, отражающие степень уверенности («Я полагаю, что...» или «Я не уверен, так ли...»). БЯМ по своей природе этого не делают. Когда модель GPT-3 только появилась, в ней поразительная склонность к конфабуляции сочеталась с полным отсутствием критичности к собственным ошибкам. Она с готовностью повторяла популярные заблуждения (например, идею о том, что мы используем только 10% своего мозга) или фейковые новости (например, версию о том, что теракт 11 сентября был организован изнутри) с той же самой уверенностью, с какой сообщала, что один плюс один равно двум. Это дало противникам ИИ отличный повод с возмущением заявить, что БЯМ бесполезны, вредны или и то и другое вместе. Как выразился один критик: «Если Сократ был мудрейшим человеком в Древней Греции, то большие языковые модели, должно быть, являются самыми глупыми системами в современном мире».[*4]

По мере того как БЯМ входят в широкое повседневное использование, потенциальный вред от конфабуляций многократно возрастает. Как мы уже видели на примере Роберто Маты, использование этих моделей может нарушить профессиональную деятельность — например, в сфере прецедентного права — наводняя ее недостоверной информацией. Конфабуляции БЯМ также наносили репутационный ущерб частным лицам. В одном случае ChatGPT процитировал несуществующую статью в Washington Post, в которой невиновный профессор права обвинялся в сексуальном насилии и домогательствах. В другом — модель ложно утверждала, что мэр города Хепберн-Спрингс близ Мельбурна сидел в тюрьме по обвинению во взяточничестве. В медицинской сфере конфабуляции БЯМ могут быть особенно опасны: врачи обнаружили, что БЯМ выдумывают научные аннотации и ссылки на статьи, а также могут выдавать ложную диагностическую информацию о серьезных заболеваниях, таких как рак. Распространяя недостоверные сведения, БЯМ подвергают риску