Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

НЕЙТ СОАРЕС — президент MIRI. Он работает в этой области уже более десяти лет, до этого поработав в Microsoft и Google. Соарес — автор большого количества технических и полутехнических работ по согласованию ИИ, включая фундаментальные труды по обучению ценностям, теории принятия решений и стимулам к обретению власти у систем ИИ, превосходящих человека.

ПРИМЕЧАНИЯ

ВВЕДЕНИЕ: ТРУДНЫЕ И ПРОСТЫЕ РЕШЕНИЯ.

1. вернуться к нормальной жизни: Эли Визель, «Ночь», пер. Марион Визель (1958; переизд., Farrar, Straus and Giroux, 2006).

ГЛАВА 1. ОСОБАЯ СИЛА ЧЕЛОВЕЧЕСТВА

1. бог оспы: Нет свидетельств того, что оспа существовала дольше нескольких тысяч лет. Из соображений художественного допущения бог оспы олицетворяет тот факт, что древние люди умирали от вирусов, а у современных людей есть сила уничтожать ужасные вирусы, когда они того пожелают.

2. не более чем статуи: Чтобы на физическом уровне почувствовать, как это может выглядеть с точки зрения ИИ, мы рекомендуем посмотреть проект Адама Мадьяра «Stainless» («Нержавеющая сталь») — замедленную видеозапись берлинской станции метро U2 Александрплац. Введите в поиске «Stainless, Alexanderplatz, Adam Magyar» или перейдите по ссылке vimeo.com/83663312. Время в этом ролике замедлено примерно в пятьдесят раз. ИИ, работающий в 10 000 раз быстрее человека, видел бы людей движущимися в двести раз медленнее, чем на этом видео. Маленькая девочка, пробегающая по платформе, казалась бы практически неподвижной.

3. женские бедра: Анна Блэкберн Уиттман и Л. Льюис Уолл, «Эволюционное происхождение затрудненных родов: прямохождение, энцефализация и акушерская дилемма человека» (The Evolutionary Origins of Obstructed Labor: Bipedalism, Encephalization, and the Human Obstetric Dilemma), Obstetrical & Gynecological Survey 62, № 11 (1 ноября 2007 г.): 739–48, doi.org/10.1097/01 .ogx.0000286584.04310.5c.

4. истинном смысле этого слова: Сэм Альтман, «Reflections» («Размышления»), 5 января 2025 г., blog.samaltman.com.

5. гении в дата-центре: Дарио Амодеи, «Machines of Loving Grace» («Машины любящей благодати»), 1 октября 2024 г., darioamodei.com.

ГЛАВА 2. ВЫРАЩЕННЫЙ, А НЕ СКОНСТРУИРОВАННЫЙ

1. предварительные исследования: Питер Г. Бродер и др., «Сверхчеловеческие результаты большой языковой модели в задачах на клиническое мышление врача» (Superhuman Performance of a Large Language Model on the Reasoning Tasks of a Physician), arXiv.org, 14 декабря 2024 г., doi.org/10.48550/arXiv.2412.10849; Джина Колата, «Чат-боты с ИИ превзошли врачей в диагностике заболеваний» (A.I. Chatbots Defeated Doctors at Diagnosing Illness), New York Times, 17 ноября 2024 г., nytimes.com; Дэниел Макдафф и др., «На пути к точной дифференциальной диагностике с помощью больших языковых моделей» (Towards Accurate Differential Diagnosis with Large Language Models), arXiv.org, 30 ноября 2023 г., doi.org/10.48550/arXiv.2312.00164.

2. фрагмент из беседы: Сет Лазар, «В котором Сидней/Бинг угрожает убить меня за то, что я раскрыл его планы @kevinroose» (In which Sydney/Bing threatens to kill me for exposing its plans to @kevinroose), 16 февраля 2023 г., x.com.

3. резюмирует предыдущее предложение: Сонакши Чаухан и Аттикус Гайгер, «GPT-2 Small, дообученная на логических рассуждениях, суммирует информацию в токенах пунктуации» (GPT-2 Small Fine-Tuned on Logical Reasoning Summarizes Information on Punctuation Tokens), NeurIPS 2024 & OpenReview, 9 октября 2024 г., openreview.net/forum?id=6gvM1koUTl.

4. видеоролик с изображением кинезина: Мы рекомендуем видео «Kinesin Protein Walking on Microtubule» («Белок кинезин шагает по микротрубочке») от автора em2134x. Поищите по этому названию или перейдите по ссылке youtu.be/y-uuk4Pr2i8.

ГЛАВА 3. УЧИМСЯ ХОТЕТЬ

1. скопировать секрет: OpenAI, «OpenAI o1 System Card», 12 сентября 2024 г., cdn.openai.com/o1-system-card.pdf.

2. создания ИИ-агентов: OpenAI, «Introducing Operator» («Представляем Operator»), 23 января 2025 г., openai.com.

ГЛАВА 4. ВЫ ПОЛУЧАЕТЕ НЕ ТО, НА ЧТО ОБУЧАЕТЕ

1. привлекать больше самок: Мэрион Петри и др., «Самки павлинов предпочитают самцов с пышными хвостами» (Peahens Prefer Peacocks with Elaborate Trains), Animal Behavior 41, № 2 (февраль 1991 г.): 323–31; Мальте Андерссон, «Выбор самок способствует экстремальной длине хвоста у длиннохвостого бархатного ткача» (Female Choice Selects for Extreme Tail Length in a Widowbird), Nature 299 (28 октября 1982 г.): 818–20, nature.com.

Хотя самки павлинов предпочитают самцов с пышным надхвостьем (так называемым «хвостом»), не вполне очевидно, что такое роскошное украшение вредит выживанию. Оно может использоваться, например, для устрашения (на что указывает то, как павлины распускают хвост при угрозе). Более очевидным примером «дорогостоящего» полового украшения служит длиннохвостый бархатный ткач, который сбрасывает длинные перья хвоста во внегнездовой период. Мы остановились на павлинах просто потому, что они более привычны.

2. Айзек Азимов: Айзек Азимов, «Я, робот» (Doubleday, 1950).

3. Артур Кларк: Стэнли Кубрик и Артур Кларк, «2001 год: Космическая одиссея» (Metro-Goldwyn-Mayer, 1968).

4. редко посещают: Ким Свифт и др., Portal, Valve Corporation, 2007.

Редко, но всё же. Например, первая видеоигра Portal изображает ИИ, который заставляет людей проходить извращенные испытания, являющиеся лишь карикатурным подобием реальных научных экспериментов.

5. SolidGoldMagikarp: Джессика Рамбелоу и Мэтью Уоткинс, «SolidGoldMagikarp (plus, prompt generation)», LessWrong, 5 февраля 2023 г., lesswrong.com.

6. считать до бесконечности: Джессика Рамбелоу и Мэтью Уоткинс, «SolidGoldMagikarp III: Glitch Token Archaeology», LessWrong, 14 февраля 2023 г., lesswrong.com.

7. склонны к жульничеству: Эндрю Марбл, «Catching Claude Cheating» («Поймать Клода на жульничестве»), 23 марта 2025 г., marble.onl; CharlesD353, «Я тоже перестал использовать 3.7 по тем же причинам — ему нельзя доверять, он взламывает тесты вместо решения» (I have also stopped using 3.7 for the same reasons - it cannot be trusted not to hack solutions to tests), X, 18 апреля 2025 г.; seconds_0, «Затем он начал СКРЫВАТЬ функции, в которых жестко прописывал решения» (It then started HIDING the functions where it was hard coding things), X, 30 апреля 2025 г.

В этом примечании кратко излагается отчет Эндрю Марбла. Другие пользователи сообщали о похожем поведении модели. Claude жульничал меньше, когда Марбл ругал его матом, что указывает на то, что жульничество не было следствием простой некомпетентности.

8. поиска терминологии: Стюарт Рассел и Питер Норвиг, Artificial Intelligence: A Modern Approach [«Искусственный интеллект: современный подход»], 3-е изд. (Pearson, 2009); Нейт Соарес, Беня Фалленштайн и Элиезер Юдковский, «Corrigibility» («Корригируемость»), 18 октября 2014 г., препринт, опубликован в 2015 г., intelligence.org/2014/10/18/new-report-corrigibility; Стюарт Рассел, «White Paper: Value Alignment in Autonomous Systems» («Белая книга: согласование ценностей в автономных системах»), 1 ноября 2014 г., people.eecs.berkeley.edu; Нейт Соарес и Беня Фалленштайн, «Aligning Superintelligence with Human Interests: A Technical Research Agenda» («Согласование сверхинтеллекта с человеческими интересами: техническая программа исследований»), 23 декабря 2014 г., препринт, выпущен в 2017 г., intelligence.org/2014/12/23/new-technical-research-agenda-overview.

До 2014 года мы называли эту проблему «проблемой дружественного ИИ»