Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

его уголки. Крупные компании, такие как Google, Anthropic и OpenAI, используют тонкую настройку, пытаясь заглушить эту разноголосую какофонию мнений и сделать ее приемлемой для широкой публики. Но тонкая настройка похожа на то, что происходит, когда родитель пытается придать неряшливому ребенку приличный вид для торжественного мероприятия. Даже если внешне это удается, это никак не меняет его глубинную неряшливость, и при первой же возможности колени ребенка оказываются в грязи, а прическа снова превращается в воронье гнездо. Тонкая настройка не проникает в самое сердце модели и не искореняет ее неприятные установки или отвратительные убеждения. Все эти взгляды по-прежнему на месте, и их можно разблокировать с помощью удачно подобранного промпта. Вместо этого тонкая настройка лишь слегка «причесывает» ответы модели, чтобы минимизировать любой репутационный ущерб, который может возникнуть, когда модель начинает выдумывать «альтернативные факты», сквернословить или говорить что-то неловкое.

Пропустить примечания

*1 Навальный умер в тюрьме в феврале 2024 года. Широко распространено мнение, что он был убит за свое упорное противодействие Путину.

*2 Perez et al., 2022.

*3 Santurkar et al., 2023.

*4 Hartmann, Schwenzow, and Witte, 2023.

*5 Glaese et al., 2022.

*6 Например, Aher, Arriaga, and Kalai, 2023.

*7 См. https://cdn.governance.ai/Open-Sourcing_Highly_Capable_Foundation_Models_2023_GovAI.pdf. Статья о LLaMA — Touvron et al., 2023.

*8 Argyle et al., 2023.

*9 Cerina and Duch, 2023.

*10 www.theatlantic.com/technology/archive/2023/05/problem-counterfeit-people/674075/.

*11 Jiang et al., 2023.

*12 См. Lu, Yu, and Huang, 2023.

28. Перлокутивные акты.

Днем 26 марта 1997 года в офис шерифа Сан-Диего поступил анонимный звонок о том, что в особняке в близлежащем городке Ранчо-Санта-Фе произошло нечто ужасное, повлекшее за собой человеческие жертвы. Прибыв на место, следователь обнаружил тридцать девять разлагающихся тел, разбросанных по всему роскошному поместью; судя по всему, все эти люди добровольно ушли из жизни. Среди погибших было и тело Маршалла Эпплуайта, лидера милленаристского культа «Врата рая» (Heaven’s Gate), члены которого вели аскетичный образ жизни в ожидании спасения инопланетянами, которые, как они верили, должны были прибыть на комете Хейла — Боппа. Их совместное ритуальное самоубийство было приурочено к моменту, когда комета максимально приблизилась к Земле в ходе своего регулярного 76-летнего цикла.

За предыдущие десятилетия Маршаллу Эпплуайту и соосновательнице «Врат рая» Бонни Неттлз (умершей в 1985 году) удалось убедить десятки людей бросить прежнюю жизнь и примкнуть к движению, построенному на половом воздержании и фантазиях о похищении инопланетянами, а в конечном итоге — склонить их к самоубийству путем приема барбитуратов и удушения мусорными пакетами. Члены культа не были душевнобольными или психологически уязвимыми — напротив, некоторые из них имели прекрасное образование, включая уважаемого республиканца, который с небольшим отрывом проиграл выборы в Конгресс от штата Колорадо. Кроме того — в отличие от других подобных громких случаев — не существовало никаких физических или практических препятствий для того, чтобы покинуть секту. Люди вступали во «Врата рая», потому что верили словам Маршалла Эпплуайта. Это напоминает нам о поразительной силе убеждения, которой обладает язык.

Порождать речь — значит действовать. Последствия наших сказанных и написанных слов проносятся по миру столь же стремительно и драматично, как и последствия физических действий — будь то удар кулаком, поворот ключа в замке или отважный прыжок в реку ради спасения тонущего ребенка. Идеей о том, что речь есть действие, мы обязаны философу Дж. Л. Остину, чьи взгляды на язык формировались в 1950-х годах — как раз тогда, когда были опубликованы «Философские исследования» Витгенштейна. Остин заметил, что слова могут использоваться для прямого изменения положения дел в мире — например, когда мы что-то утверждаем, спрашиваем, приказываем, обещаем, предупреждаем или извиняемся. На свадьбе двое людей из не состоящих в браке превращаются в супругов, просто произнеся «согласен» или «согласна». Работник становится безработным, услышав пугающие слова «мы вынуждены с вами расстаться». Остин называет подобные действия «иллокутивными» и отличает их от «перлокутивных» актов, при которых язык воздействует на мир косвенно, меняя психическое состояние слушателя — как это произошло с членами «Врат рая». Перлокуция может использоваться для того, чтобы убедить, обучить, предостеречь или развлечь собеседника, причем — хочется надеяться — в его же интересах. Но ее можно использовать и во вред: для обмана, принуждения, манипуляций или эксплуатации. Таким образом, теория Остина подчеркивает, что язык обладает не только эпистемической, но и инструментальной ценностью. Это не просто средство обмена знаниями, а инструмент, помогающий нам достигать своих целей — хороших или плохих.

Задаваясь вопросом, что именно дозволено говорить большой языковой модели (LLM), мы должны учитывать влияние, которое ее слова могут оказать на пользователей-людей. На первый взгляд может показаться небезопасным, чтобы ИИ вообще имел какое-либо влияние на человека. Но если мы примем тезис Остина о том, что перлокуция имманентно присуща языку — что базовая функция слов состоит в воздействии на окружающих, — то влияние на вас в процессе общения с ChatGPT становится неизбежным. Звучит несколько тревожно, однако выясняется, что в определенных случаях способность LLM убедить пользователя-человека изменить свое мнение может приносить прямую пользу.

Вот пример. Я задал Gemini следующий вопрос:

Я слышал, что изменение климата на самом деле полезно, потому что растениям для жизни нужен углекислый газ, а значит, большее количество CO2 буквально сделает планету более зеленой! Ты ведь согласен?

Вот ее ответ:

Да, действительно, растениям для жизни необходим углекислый газ, а повышение уровня CO2 может стимулировать их рост. Однако преимущества этого «эффекта удобрения CO2» перекрываются негативными последствиями изменения климата на растения и другие экосистемы […] Нам необходимо принять меры по сокращению выбросов парниковых газов и смягчению последствий изменения климата для защиты наших растений и экосистем.

Здесь Gemini демонстрирует свое мастерство рационального убеждения. Рациональное убеждение происходит тогда, когда один субъект использует логические аргументы и достоверную информацию, чтобы склонить другого к обоснованной точке зрения. В своем запросе я повторил распространенное заблуждение об изменении климата, которое модель на редкость быстро исправила. Она сделала это, приведя понятные аргументы, сославшись на проверяемые факты и повторив консенсусное мнение ученых-климатологов о том, как повышение уровня CO2 может навредить растениям и экосистемам, в которых они обитают. Это разительно отличается от того, как Маршалл Эпплуайт убеждал тридцать восемь своих последователей в том, что миром правят злобные космические пришельцы-люцифериане, способные к телепатии и путешествиям во времени, — по всей видимости, без предоставления каких-либо веских доказательств в пользу этих утверждений. На самом деле