Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

about AI’s ‘Risks,’ Forces of ‘Retreat’ in Final UN Address,” Roll Call, September 24, 2024, rollcall.com; “Chinese Vice Premier Ding Xuexiang at World Economic Forum,” C-SPAN, January 21, 2025, 38:01, c-span.org.

В 2023 году страны «Большой семерки» запустили Хиросимский процесс по ИИ — первую в мире международную рамочную программу по ИИ. В развитие этой инициативы в мае 2024 года премьер-министр Японии Фумио Кисида заявил:

Давайте сотрудничать как нации, объединенные общей целью, чтобы использовать всеобщие возможности и противостоять глобальным рискам, которые несет с собой ИИ, и работать над созданием безопасного, защищенного и надежного ИИ.

Первая (не имеющая обязательной силы) резолюция ООН была принята в марте 2024 года. Посол США в ООН Линда Томас-Гринфилд высоко оценила ее:

Сегодня все 193 члена Генеральной Ассамблеи ООН высказались в один голос и сообща решили управлять искусственным интеллектом, а не позволять ему управлять нами.

В сентябре 2024 года в своем последнем обращении к Организации Объединенных Наций президент Байден говорил о международном сотрудничестве в области ИИ:

Во-первых, как нам, как международному сообществу, управлять ИИ в условиях, когда страны и компании мчатся к неизведанным рубежам? Нам нужны столь же безотлагательные усилия для обеспечения безопасности, защищенности и надежности ИИ.

На Всемирном экономическом форуме в январе 2025 года вице-премьер Китая Дин Сюэсян заявил:

Если мы позволим этой безрассудной конкуренции между странами продолжаться, то столкнемся с «серым носорогом» — и что нам тогда делать? Думаю, нам нужно обратиться к истории. Например, к нашим урокам по управлению рисками: ядерными, биологическими и рисками в сфере безопасности.[…] Мы готовы в рамках Организации Объединенных Наций и ее ключевых институтов активно участвовать, привлекая все соответствующие международные организации и все страны к обсуждению разработки строгих правил, призванных гарантировать, что технология ИИ станет «сокровищницей Али-Бабы», а не «ящиком Пандоры».

«Серый носорог» — это тип риска, противопоставляемый «черному лебедю». «Черный лебедь» — это маловероятное событие с масштабными последствиями. «Серый носорог» — это высоковероятное событие с масштабными последствиями, которое люди, однако, склонны игнорировать или недооценивать.

4. Опрос 2025 года: Билли Перриго, «Эксклюзив: общественность Великобритании требует более строгих правил регулирования ИИ, чем её правительство», TIME, 6 февраля 2025 года, time.com.

5. Опрос 2023 года: «Подавляющее большинство избирателей считают, что технологические компании должны нести ответственность за ущерб, причиняемый моделями ИИ, выступают за ограничение распространения ИИ и закон, требующий раскрывать использование ИИ в политической рекламе», AI Policy Institute (блог), 23 сентября 2023 года, theaipi.org.

См. основные результаты и перекрестные таблицы по ссылкам в разделе «Об опросе».

Отзывы о книге «Если кто-то его создаст, все умрут».

«Книга «Если кто-то его создаст, все умрут» убедительно доказывает, что сверхразумный ИИ почти наверняка приведет к глобальному уничтожению человечества. Правительства по всему миру должны осознать эти риски и принять коллективные и эффективные меры».

— Джон Вулфстал, бывший специальный помощник президента по вопросам национальной безопасности

«Юдковский и Соарес простым и понятным языком объясняют, почему наш нынешний путь к созданию все более мощного ИИ чрезвычайно опасен».

— Эмметт Шир, бывший временный генеральный директор OpenAI

«Обязательное чтение для политиков, журналистов, исследователей и широкой публики. Мастерски написанный и новаторский труд, «Если кто-то его создаст, все умрут» служит важной отправной точкой для обсуждения ИИ на всех уровнях».

— Барт Селман, профессор компьютерных наук Корнеллского университета

«Хотя я скептически отношусь к утверждению, что нынешняя траектория развития ИИ приведет к вымиранию человечества, я признаю, что этот взгляд может быть лишь следствием недостатка моего воображения. Учитывая экспоненциальные темпы изменений в сфере ИИ, сейчас самое время предпринять разумные шаги для защиты от наихудших сценариев. Авторы предлагают важные меры по созданию глобальных барьеров безопасности и снижению рисков, которые заслуживают самого серьезного рассмотрения».

— Генерал-лейтенант Джон Н. Т. «Джек» Шанахан (ВВС США в отставке), первый директор Объединенного центра искусственного интеллекта Министерства обороны США

««Если кто-то его создаст, все умрут» — это не просто тревожный звонок, это пожарная сирена, звучащая громко и тревожно. Юдковский и Соарес говорят без обиняков: бесконтрольный сверхразумный ИИ представляет собой экзистенциальную угрозу. Это отрезвляющее напоминание о том, что будущее человечества зависит от того, что мы делаем прямо сейчас».

— Марк Руффало

«Серьезная книга во всех отношениях. Согласно пугающему анализу Юдковского и Соареса, сверхмощный ИИ не будет нуждаться в человечестве, но при этом будет обладать всеми возможностями для нашего уничтожения. «Если кто-то его создаст, все умрут» — это красноречивый и настойчивый призыв отступить от края пропасти самоуничтожения».

— Фиона Хилл, бывший старший директор Совета национальной безопасности при Белом доме

«Ясное и убедительное изложение экзистенциальных рисков, которые высокоразвитый ИИ может представлять для человечества. Рекомендую».

— Бен Бернанке, лауреат Нобелевской премии и бывший председатель Федеральной резервной системы

«Скорее всего, вы закроете эту книгу с полной уверенностью в том, что правительствам необходимо немедленно перейти к более осторожному подходу к ИИ — подходу, который бы учитывал весь колоссальный, меняющий цивилизацию масштаб создаваемых технологий. Мне бы хотелось, чтобы каждый человек на Земле, которому небезразлично будущее, прочитал эту книгу и обсудил ее идеи».

— Скотт Ааронсон, профессор компьютерных наук на кафедре Schlumberger Centennial Техасского университета в Остине

«Невероятно серьезная проблема, которая заслуживает — и даже настоятельно требует — нашего внимания. Вам не обязательно соглашаться с прогнозами или рекомендациями в этой книге, как не нужно и разбираться в технологиях или ИИ, чтобы найти ее увлекательной, доступной и заставляющей задуматься».

— Сюзанна Сполдинг, бывший заместитель министра внутренней безопасности США

«Самая важная книга, которую я читал за многие годы: мне хочется принести ее каждому политическому и корпоративному лидеру в мире и стоять над душой, пока они ее не прочтут. Юдковский и Соарес бьют в набат, призывая человечество очнуться от лунатического сна на пути к катастрофе».

— Стивен Фрай

«Самая важная книга десятилетия».

— Макс Тегмарк, профессор физики Массачусетского технологического института (MIT)

«Заявления о рисках ИИ часто списывают на рекламу, призванную продать побольше гаджетов. Было бы утешительно, будь это правдой, но эта книга опровергает подобную теорию. Юдковский и Соарес не имеют отношения к индустрии ИИ, и они писали об этих рисках еще до того, как ИИ появился в его нынешнем виде. Прочитайте их тревожную книгу и скажите нам, в чем они ошибаются».

— Хью Прайс, заслуженный профессор философии имени Бертрана Рассела, Тринити-колледж, Кембридж, Великобритания

«Эту книгу должен прочесть каждый. Я на 70 процентов уверен, что