Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Call, September 24, 2024, rollcall.com; Chinese Vice Premier Ding Xuexiang at World Economic Forum. C-SPAN, January 21, 2025, 38:01, c-span.org.

В 2023 году страны “Большой семерки” запустили “Хиросимский процесс по искусственному интеллекту” – первую в мире международную структуру, касающуюся ИИ. В мае 2024 года премьер-министр Японии Фумио Кисида сказал:

Давайте сотрудничать как нации, объединенные общей целью, чтобы реализовать возможности и устранить риски, вызванные искусственным интеллектом, и работать над достижением безопасного, защищенного и надежного ИИ.

Первая (не имеющая обязательной силы) резолюция Организации Объединенных Наций была принята в марте 2024 года. Посол США при ООН Линда Томас-Гринфилд похвалила ее:

Сегодня все 193 члена Генеральной Ассамблеи ООН высказались заодно и вместе решили управлять искусственным интеллектом, а не позволять ему управлять нами.

В сентябре 2024 года президент США Джо Байден высказался о международном сотрудничестве по ИИ в своем заключительном обращении к Организации Объединенных Наций:

Прежде всего, как нам, международному сообществу, управлять искусственным интеллектом, пока страны и компании мчатся к неизвестным рубежам? Нам необходимы столь же неотложные усилия для обеспечения безопасности, защиты и надежности в сфере ИИ.

На Всемирном экономическом форуме в январе 2025 года вице-премьер КНР Дин Сюэсян сказал:

Если мы позволим продолжать безрассудную конкуренцию между странами, то увидим “серого носорога”. И что с этим делать? Я думаю, нам нужно обратиться к истории. Например, к нашему опыту управления рисками: ядерными рисками, биологическими и угрозами безопасности. <..> Мы готовы в рамках Организации Объединенных Наций и ее структур активно участвовать в диалоге со всеми соответствующими международными организациями и со всеми странами, чтобы обсудить формулировки жестких правил. И гарантировать, что ИИ-технологии станут пещерой сокровищ Али-Бабы, а не ящиком Пандоры.

“Серый носорог” – это тип риска, противопоставляемый “черному лебедю”. “Черный лебедь” – это событие с низкой вероятностью и серьезными последствиями. “Серый носорог” – это событие с высокой вероятностью и серьезными последствиями, которое люди тем не менее склонны игнорировать или недооценивать.

4 AI Policy Institute. Overwhelming Majority of Voters Believe Tech Companies Should Be Liable for Harm Caused by AI Models, Favor Reducing AI Proliferation and Law Requiring Political Ad Disclose Use of AI. September 23, 2023.

Смотрите основные результаты и таблицы в разделе About the Poll (“Об опросе”).

5 Perrigo B. Exclusive: The British Public Wants Stricter AI Rules Than Its Government Does. TIME, February 6, 2025.

Примечания

1

Авторы благоразумно указали, что пишут эти строки в начале 2025 года. Сегодня, буквально через год, оба процесса уже вовсю начинают происходить, хотя проблема долгосрочной памяти у языковых моделей еще не вполне решена. (Прим. науч. ред.)

2

В 2012 году нейронная сеть AlexNet начала справляться с проблемой распознавания изображений. В 2016-м программа AlphaGo победила лучшего игрока в го. В 2020-м появилась (чисто предиктивная) языковая модель GPT-3. В 2022-м появился (широко используемый) чат-бот ChatGPT. В 2024-м рассуждающие модели начали хорошо писать код и гораздо лучше решать математические задачи и визуальные головоломки.

3

Термин ОИИ (общий искусственный интеллект) предназначен для того, чтобы отличать ИИ, который интуитивно кажется “действительно умным”, от узкоспециализированных ИИ-моделей прошлого. В нашей книге мы избегаем этого термина, поскольку специалисты расходятся во мнениях, что же именно он подразумевает в свете появления ИИ-моделей, подобных ChatGPT.

4

Если это правда, то произошло это вопреки мнению Юдковского: он считал, что OpenAI – ужасная идея.

5

Эта точка зрения подкрепляется определенной теорией, которую мы обсуждаем в онлайн-материалах. Но вообще мы не собираемся слишком зацикливаться на определениях. Если удар молнии поджег лес вокруг вас, то вам не спастись, просто введя хитрое определение, что “пожар” – это исключительно рукотворный огонь; вам просто надо бежать.

6

Может показаться странным, что авторы называют это “прогнозированием”, ведь маршруты уже давно существуют, а значит, это скорее “получение информации”. Тем не менее в выбранной авторами дихотомии получение информации – это именно “прогнозирование”. Формально можно сказать, что вы предсказываете, что сможете сделать поворот в нужную сторону, когда доберетесь до нужной улицы, и этот прогноз может оказаться неверным из-за внезапной аварии или ошибки на карте. (Прим. науч. ред.)

7

Не могу не согласиться с этим утверждением авторов относительно конкретной модели o1, появившейся в конце 2024 года. Но рекомендую читателю самостоятельно убедиться, верно ли оно относительно ведущих языковых моделей в то время, когда вы это читаете. Лично у меня в последние месяцы (в начале 2026 года) это ощущение уже значительно ослабло… (Прим. науч. ред.)

8

К чему такая оговорка? А к тому, что, даже если бы на Землю вторглись немыслимо развитые инопланетяне с лишним миллиардом лет мышления за плечами, они все равно не сумели бы победить человечество в игре крестики-нолики (конечно, если бы люди были защищены от махинаций вроде подмешивания инопланетянами чего-нибудь в наши напитки). Дело в том, что алгоритм идеальной игры в крестиках-ноликах достаточно невелик по объему, и человек способен его запомнить. Это наглядный пример того, что превосходство сверхинтеллекта над человеческими возможностями имеет свои границы. Однако подобное ограничение работает только для совсем простых игр.

9

Подразумевается стандартное выражение once upon a time – “когда-то, давным-давно”. (Прим. перев.)

10

Начало Геттисбергской речи Линкольна, одной из самых знаменитых речей в истории. Four score and seven years ago our fathers… – “Восемьдесят семь лет назад наши отцы…” (Прим. перев.)

11

За поиск архитектур, которые заставляют эти градиенты вести себя хорошо даже для параметров, находящихся очень глубоко внутри процесса, весьма далеко от выходных данных, специалисты в области искусственного интеллекта и получают награды. Грубо говоря, именно за это Джеффри Хинтон и Джон Хопфилд получили свою Нобелевскую премию.

Здесь авторы допускают небольшую неточность: нельзя говорить о градиенте для одного параметра. Градиент – это вектор частных производных по некоторому набору аргументов, и во время обучения нейросети мы подсчитываем (один большой) градиент функции ошибки по всем параметрам сети. В этом абзаце речь не о градиенте, а об одной частной производной, компоненте градиента. Впрочем, среди ИИ-практиков эту неточность допускают многие. (Прим. науч. ред.)