Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

11. не могут быть решены: Schneier, Secrets and Lies: Digital Security in a Networked World; Gutmann, “Unsolvable Problems in Computer Security.”

12. верхняя часть реактора: Bertrand Mercier et al., “A Simplified Analysis of the Chernobyl Accident,” EPJ Nuclear Sciences & Technologies 7 (January 1, 2021): 1, doi.org/10.1051/epjn/2020021.

CHAPTER 11: AN ALCHEMY, NOT A SCIENCE

1. кисточки с радиевой краской: Bert M. Coursey, “The National Bureau of Standards and the Radium Dial Painters,” Journal of Research of the National Institute of Standards and Technology 126 (February 14, 2022), doi.org/10.6028/jres.126.051.

2. наиболее подробные анализы: Ben Pace, “Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More,” LessWrong, October 3, 2019, lesswrong.com.

Лекун также однажды обсуждал проблему инструментальной конвергенции в комментариях к публичной ветке на Facebook в 2019 году.

3. TruthGPT: “Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH),” April 23, 2023, 13:25, youtube.com.

4. Успокойтесь: Ян Лекун, “Calm down. Human-level AI isn’t here yet,” Twitter/X, March 19, 2023.

5. конструировать их желания: Ян Лекун, “Because they would have no desire to do anything else,” Twitter/X, March 20, 2023.

6. доброжелательный защитный ИИ: Ян Лекун, “No. My benevolent defensive AI will be better…,” Twitter/X, March 20, 2023.

7. сверхинтеллектуальным и послушным: Ян Лекун, “We can design AI systems to be both superintelligent and submissive to humans,” Twitter/X, May 4, 2023.

8. Дартмутское предложение: Маккарти и др., “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence,” August 31, 1955, jmc.stanford.edu.

9. все равно взрываются: Стивен Даулинг, “What Are the Odds of a Successful Space Launch?,” May 31, 2023, BBC, bbc.com; Т. Х. Ананд Рао, “A Season Marred by Setbacks in Space Missions,” Centre for Air Power Studies, July 25, 2024, capsindia.org.

В ракетостроении существует эмпирическое правило: вероятность взрыва при первом или втором запуске ракеты нового типа составляет около 30 процентов. Даже проверенные конструкции ракет регулярно взрываются. Исторический средний показатель превышает 8 процентов (хотя в последние пару десятилетий он ближе к 6 процентам). Даже пилотируемые полеты имеют историческую частоту отказов выше 1 процента (около 0,79 процента за последние пару десятилетий).

10. от 10 до 20 процентов: Марк Доман и Бенджамин Свин, “AI’s Dark In-joke,” ABC News, July 14, 2023, abc.net.au; METR (Model Evaluation & Threat Research), “Q&A with Geoffrey Hinton,” June 27, 2024, 38:07, youtube.com.

В ходе ответов на вопросы Хинтон, судя по всему, был неверно информирован об уверенности Юдковского в неизбежности катастрофы, оценив её в 99,999 процента. Хотя мы, авторы, считаем катастрофу наиболее вероятным исходом по умолчанию, «пять девяток» — это абсурдный уровень уверенности, который ни один из нас не разделяет.

11. равные шансы: Доман и Свин, “AI’s Dark In-joke.”

12. из скромности: METR, “Q&A with Geoffrey Hinton,” 38:07.

13. уволены или ушли в отставку: “Nearly Half of OpenAI’s AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development,” Benzinga, August 28, 2024, benzinga.com; Шэрон Голдман, “Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher,” Fortune, August 28, 2024, fortune.com; Шакил Хашим, “OpenAI Employee Says He Was Fired for Raising Security Concerns to Board,” Transformer (блог), June 4, 2024, transformernews.ai; Рейчел Метц и Ширин Гаффари, “OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever’s Exit,” Bloomberg, May 17, 2024, bloomberg.com; Сигал Сэмюэл, “‘I Lost Trust’: Why the OpenAI Team in Charge of Safeguarding Humanity Imploded,” Vox, May 18, 2024, vox.com.

Леопольд Ашенбреннер и Павел Измайлов были предположительно уволены за утечку данных компании; Ашенбреннер утверждает, что его уволили за то, что он выражал опасения по поводу безопасности. Руководители команд Ян Лейке и Илья Суцкевер ушли в отставку, так же как и Уильям Сондерс, Райан Лоу, Ян Хендрик Кирхнер, Коллин Бернс, Джеффри Ву, Джонатан Уэсато, Стивен Биллс, Юрий Бурда, Тодор Марков и сооснователь Джон Шульман. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер всё еще работали в OpenAI, но команда супервыравнивания была распущена.

14. конкурирующую ИИ-компанию: Хейзлтон и Госвами, “OpenAI co-founder Ilya Sutskever Announces His new AI Startup, Safe Superintelligence.”

15. конкурирующую компанию Anthropic: Кайли Робисон, “OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic,” The Verge, May 28, 2024, theverge.com.

16. алхимики древности: Джабир ибн Хайян, Kitāb al-Aḥjār ’alá Ra’y Balīnās, VIII–IX века, пер. Сайеда Номанула Хака в “A Critical Study of Jābir ibn Ḥayyān’s Kitāb al-Aḥjār ’alá Ra’y Balīnās,” диссертация (Университетский колледж Лондона, 1990), discovery.ucl.ac.uk.

Джабир ибн Хайян, известный как отец арабской химии, был алхимиком (или группой алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото Джабир писал:

Что касается превращения тел из одного состояния в другое, высшее или низшее, то, согласно нашему учению, оно представляет собой [взаимообмен между] внешним и внутренним, ибо в действительности внешнее и внутреннее именно этим и являются. Причина в том, что все составляющие всех вещей следуют круговому циклу изменений.

Внешнее в теле явно, тогда как внутреннее скрыто, и именно в последнем заключается благо. Например, свинец внешне — это зловонный свинец, и это очевидно всем людям. Но внутри него — золото, и оно скрыто. Однако, если извлечь это последнее наружу, то явятся и внутреннее, и внешнее свинца.

ГЛАВА 12. «Я НЕ ХОЧУ БЫТЬ АЛАРМИСТОМ»

1. General Motors: Алан П. Лоэб, “Birth of the Kettering Doctrine: Fordism, Sloanism and the Discovery of Tetraethyl Lead,” Business and Economic History 24, no. 1 (1995): 72–87, jstor.org/stable/23703273.

2. мощность и надежность: Джейми Линкольн Китман, “The Secret History of Lead,” The Nation, March 2, 2000, thenation.com; Редакция HOT ROD, “Living with Unleaded: Here’s How Your Classic Musclecar or High-Perf Street Machine Can Safely Kick the Habit,” Hot Rod, March 1987, hotrod.com.

Этанол был, пожалуй, самой перспективной альтернативной добавкой, но двигателям, использующим альтернативы свинцу, требовались закаленные клапаны и седла клапанов.

3. повреждение мозга: Майкл Дж. Макфарланд, Мэтт Э. Хауэр и Аарон Рубен, “Half of US Population Exposed to Adverse Lead Levels in Early Childhood,” Proceedings of the National Academy of Sciences 119, no. 11 (March 7, 2022), doi.org/10.1073/pnas.2118631119.

4. метаанализ: Энтони Хигни, Ник Хэнли и Мирко Моро, “The Lead-Crime Hypothesis: A Meta-analysis,” Regional Science and Urban Economics 97 (2022), doi.org/10.1016/j.regsciurbeco.2022.103826.

5. отраслевая пропаганда: Алан П. Лоэб, “Paradigms Lost: A Case Study Analysis of Models of Corporate Responsibility