Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

of a Divergent Chain Reaction. American Journal of Physics, 20, no. 9 (1952): 536–58; Allardice C., Trapnell E. R. The First Pile. International Atomic Energy Agency, 1946.

8 US Atomic Energy Commission. Additional Analysis of the SL-1 Excursion: Final Report of Progress July through October 1962 (IDO-19313). U. S. Department of Energy, November 21, 1962; U. S. Atomic Energy Commission. SL-1 Reactor Accident (IDO-19300a). US Department of Energy, May 15, 1961.

9 Part 7: Bitter Wormwood. Chernobyl Witness: A Primary Source Compendium of 26 April 1986, May 9, 2021, chernobylcritical.blogspot.com; International Nuclear Safety Advisory Group. The Chernobyl Accident: Updating of INSAG-1. Safety Series, International Atomic Energy Agency, 1992, pub.iaea.org.

10 World Nuclear Association. Sequence of Events – Chernobyl Accident Appendix 1. January 2, 2025; Chernobyl: Assessment of Radiological and Health Impacts (2002). Nuclear Energy Agency (NEA), 2002.

Дело не просто в наличии жесткого минимума в пятнадцать управляющих стержней, все несколько сложнее. Это правило относится к минимальному “оперативному запасу реактивности” (ОЗР). ОЗР можно выражать в количестве управляющих стержней, однако из-за других факторов он не всегда равен количеству погруженных стержней. На момент взрыва запас реактивности в реакторе составлял восемь единиц ОЗР, что значительно ниже минимально допустимого предела в пятнадцать единиц.

11 Mercier B. et al. A Simplified Analysis of the Chernobyl Accident. EPJ Nuclear Sciences & Technologies, 7 (2021): 1.

12 Schneier B. Secrets and Lies: Digital Security in a Networked World; Gutmann P. Unsolvable Problems in Computer Security.

Глава 11

Алхимия, а не наука

1 Coursey B. M. The National Bureau of Standards and the Radium Dial Painters. Journal of Research of the National Institute of Standards and Technology, 126 (2022).

2 Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH). April 23, 2023, 13:25, youtube.com.

3 Pace B. Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More. LessWrong, October 3, 2019.

Еще Лекун один раз обсуждал проблему инструментальной сходимости в комментариях к публичной ветке в Фейсбуке в 2019 году.

4 LeCun Y. Calm down. Human-level AI isn't here yet. X, March 19, 2023.

5 LeCun Y. Because they would have no desire to do anything else. X, March 20, 2023.

6 LeCun Y. No. My benevolent defensive AI will be better… X, March 20, 2023.

7 LeCun Y. We can design AI systems to be both superintelligent and submissive to humans. X, May 4, 2023.

8 McCarthy J. et al. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence. August 31, 1955, jmc.stanford.edu.

9 Dowling S. What Are the Odds of a Successful Space Launch? BBC, May 31, 2023; Anand Rao T. H. A Season Marred by Setbacks in Space Missions. Centre for Air Power Studies, July 25, 2024, capsindia.org.

Одно эмпирическое правило в ракетостроении гласит, что при первом или втором запуске ракеты нового типа шансы на взрыв составляют примерно 30 %. Регулярно взрываются даже ракеты с отработанными конструкциями. Средний показатель в истории превышает 8 % (впрочем, в последние пару десятилетий он ближе к 6 %). Даже у пилотируемых полетов показатель отказов за всю историю выше 1 % (в последние пару десятилетий – около 0,79 %).

10 Doman M., Sveen B. AI's Dark In-joke. ABC News, July 14, 2023; METR (Model Evaluation & Threat Research). Q&A with Geoffrey Hinton. June 27, 2024, 38:07, youtube.com.

Хинтона, похоже, дезинформировали насчет степени уверенности Юдковского в катастрофе, поскольку он назвал величину 99,999 %. Хотя мы, авторы, и считаем катастрофу наиболее вероятным исходом по умолчанию, пять девяток – это абсурдный уровень уверенности, под которым ни один из нас не подпишется.

11 Doman M., Sveen B. AI's Dark In-joke.

12 METR. Q&A with Geoffrey Hinton.

13 Nearly Half of OpenAI's AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development. Benzinga, August 28, 2024; Goldman S. Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher. Fortune, August 28, 2024; Hashim S. OpenAI Employee Says He Was Fired for Raising Security Concerns to Board. Transformer (blog), June 4, 2024; Metz R., Ghaffary S. OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever's Exit. Bloomberg, May 17, 2024; Samuel S. 'I Lost Trust': Why the OpenAI Team in Charge of Safeguarding Humanity Imploded. Vox, May 18, 2024.

Леопольд Ашенбреннер и Павел Измайлов были уволены, предположительно, за утечку данных компании. По утверждению Ашенбреннера, его уволили за то, что он поднял вопросы безопасности перед советом директоров. Руководители группы Ян Лейке и Илья Суцкевер ушли сами – наряду с Уильямом Сондерсом, Райаном Лоу, Яном Хендриком Кирхнером, Коллином Бернсом, Джеффри Ву, Джонатаном Уэсато, Стивеном Биллсом, Юрием Бурдой, Тодором Марковым и соучредителем Джоном Шульманом. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер все еще работали в OpenAI, но группу, занимавшуюся сверхсогласованием, расформировали.

14 Haselton T., Goswami R. OpenAI Сo-founder Ilya Sutskever Announces His New AI Startup, Safe Superintelligence.

15 Robison K. OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic. The Verge, May 28, 2024.

16 Jābir ibn H.ayyān. Kit-ab al-Ah.j-ar 'alá Ra'y Balīn-as. 8th–9th century, trans. Haq S. N. in A Critical Study of J-abir ibn H.ayy-an's Kit-ab al-Ah.j-ar 'alá Ra'y Balīn-as. Thesis, University College London, 1990, discovery.ucl.ac.uk.

Джабир ибн Хайян, известный как отец арабской химии, – алхимик (или группа алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото он писал:

Что касается преобразования тел из одного состояния в другое, более высокое или более низкое, то это, согласно нашей доктрине, внешнее и внутреннее, ибо в действительности это то, чем являются внешнее и внутреннее. Причина в том, что все составляющие всех вещей следуют круговому образу перемен.

У любого тела внешнее явно, тогда как внутреннее скрыто, и именно в последнем кроется польза. Например, внешнее для свинца – это дурно пахнущий свинец, и это заметно для всех людей. Но его внутреннее – золото, которое скрыто. Однако если его извлечь, то и внутреннее, и внешнее для свинца станут явными.

Глава 12

Не хочу показаться паникером

1 Loeb A. P. Birth of the Kettering Doctrine: Fordism, Sloanism and the Discovery of Tetraethyl Lead. Business and Economic History, 24, no. 1