Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

for the Environment,” Business and Economic History 28, no. 2, Winter 1999, jstor.org/stable/23703323; Уильям Коварик, “ETHYL: The 1920s Conflict over Leaded Gasoline and Alternative Fuels” (доклад, представленный на ежегодной конференции Американского общества экологической истории, Провиденс, Род-Айленд, 26–30 марта 2003 г.).

6. долгий отпуск: Билл Коварик, “Charles F. Kettering and the 1921 Discovery of Tetraethyl Lead,” International Fuels & Lubricants Meeting & Exposition, October 1, 1994, revised in 1999, environmentalhistory.org.

7. пиар-акции: Фрэнк Т. Эдельманн, “The Life and Legacy of Thomas Midgley Jr.,” Papers and Proceedings of the Royal Society of Tasmania 150, no. 1 (January 2016): 45–49, dx.doi.org/10.26749/rstpp.150.1.45.

8. фреон: Эдельманн, “The Life and Legacy of Thomas Midgley Jr.”

9. взяться за ум: Тоби Орд, The Precipice (Grand Central Publishing, 2021), 168.

Действительно, мои оценки выше учитывают вероятность того, что мы возьмемся за ум и начнем относиться к этим рискам со всей серьезностью. Будущие риски часто оцениваются исходя из допущения, что «все пойдет как обычно»: то есть что наш уровень обеспокоенности и ресурсы, выделяемые на борьбу с рисками, останутся такими же, как сегодня. Если бы я исходил из сценария «все пойдет как обычно», мои оценки рисков были бы существенно выше.

10. как минимум 10 процентов: John Thornhill, “How Fatalistic Should We Be on AI?,” Financial Times, February 22, 2024, ft.com.

11. кто считает, что меньше: METR, “Q&A with Geoffrey Hinton,” 38:07.

12. Риши Сунак: Rishi Sunak, “Prime Minister’s Speech on AI: 26 October 2023” (United Kingdom of Great Britain and Northern Ireland, October 26, 2023), gov.uk.

13. не мог взорваться: Plokhy, Chernobyl: The History of a Nuclear Catastrophe.

14. отказывались садиться: Titanic Inquiry Project, “British Wreck Commissioner’s Inquiry | Day 6 | Testimony of Charles Joughin (Chief Baker, SS Titanic),” May 10, 1912, titanicinquiry.org.

Шеф-пекарь судна описывал, как трудно было найти женщин и детей, готовых сесть в спасательные шлюпки, и как он и другие мужчины силой затаскивали некоторых из них, чтобы заполнить шлюпку.

15. корабль непотопляем: Encyclopedia Titanica, “Elizabeth Weed Shutes: Titanic Survivor,” February 1, 2018, encyclopedia-titanica.org.

16. пора уходить: Уолтер Лорд, A Night to Remember (Penguin Books, 1976), 132.

17. один из пяти: Katherine Tangalakis-Lippert, “Elon Musk Says There Could Be a 20% Chance AI Destroys Humanity—but We Should Do It Anyway,” Business Insider, March 31, 2024, businessinsider.com; The Logan Bartlett Show, “Anthropic CEO on Leaving OpenAI and Predictions for Future of AI,” October 6, 2023, 1:38:35, youtube.com.

18. отрицали расплавление реактора в Чернобыле: Plokhy, Chernobyl: The History of a Nuclear Catastrophe.

19. покинул свой пост: Geoffrey Hinton, “In the NYT today, Cade Metz implies that I left Google so that I could criticize Google. Actually, I left so that I could talk about the dangers of AI without considering how this impacts Google. Google has acted very responsibly,” X, May 1, 2023, x.com.

20. сотни лет: Caleb Garling, “Andrew Ng: Why ‘Deep Learning’ Is a Mandate for Humans, Not Just Machines,” Wired, May 5, 2015, accessed March 15, 2025, via web.archive.org.

21. аналитики заявили: Ajeya Cotra, “Draft Report on AI Timelines,” Alignment Forum, September 18, 2020, alignmentforum.org.

22. от одного до девяти лет: Sam Altman, “The Intelligence Age,” September 23, 2024, ia.samaltman.com; Alex Hern, “Elon Musk Predicts Superhuman AI Will Be Smarter Than People Next Year,” The Guardian, April 9, 2024, theguardian.com; Amodei, “Machines of Loving Grace.”

23. как минимум от пяти до десяти: Ян Лекун, “I said that reaching Human-Level AI ‘will take several years if not a decade,’” X, October 16, 2024.

24. переломный момент: CNBC Television, “Anthropic CEO: More confident than ever that we’re ‘very close’ to powerful AI capabilities,” January 21, 2025, 2:05, youtube.com; Hern, “Elon Musk Predicts Superhuman AI Will Be Smarter Than People Next Year;” Lessley Anderson, “Elon Musk: A Machine Tasked with Getting Rid of Spam Could End Humanity,” Vanity Fair, October 8, 2014.

Генеральный директор xAI предсказал появление ИИ, который будет «умнее любого человека», к концу 2025 года. Генеральный директор Anthropic спрогнозировал, что ИИ превзойдет «почти всех людей почти во всех задачах» примерно к 2027 или 2028 году. Оба руководителя независимо друг от друга признали, что возможности автоматизации научных исследований способны спровоцировать интеллектуальный взрыв.

25. ЦЕРН: John Werner, “AI Superpowers & Global Treaties,” Forbes, February 19, 2025, forbes.com.

ГЛАВА 13. ВЫКЛЮЧИТЕ ЕГО

1. содействовать, верифицировать и обеспечивать соблюдение: Aaron Scher, “Mechanisms to Verify International Agreements about AI Development,” MIRI Technical Governance Team, December 2, 2024, techgov.intelligence.org.

2. распространение оружия: United Nations Office for Disarmament Affairs, “Treaty on the Non-Proliferation of Nuclear Weapons (NPT),” accessed March 15, 2025, disarmament.unoda.org/wmd/nuclear/npt.

3. союзные державы: Ken Burns, “War Production,” The War | PBS, May 21, 2021, pbs.org; “WWII: Mobilization by Country 1937–1945,” Statista, August 9, 2024, statista.com; “WWII: Annual Tank and Self-propelled Gun Production 1939–1945, by Country,” Statista, August 6, 2024, statista.com; “WWII: Annual Production of Major Naval Vessels 1939–1945, by Country,” Statista, August 6, 2024, statista.com.

4. 341 миллиард долларов: Kenny Chmielewski, “Casualties of World War II | Statistics, by Country, & Total,” Encyclopaedia Britannica, August 31, 2023, britannica .com.

5. запрет дипфейков: Ben Cumming, “US House of Representatives Call for Legal Liability on Deepfakes,” Future of Life Institute, October 16, 2024, futureoflife.org; “Ban Deepfakes,” n.d., bandeepfakes.org.

6. Они преуменьшают: Некоторые исключения из этой тенденции составляют организации, призывающие к мораторию, такие как ControlAI, PauseAI и StopAI.

7. предоставлять ежегодные отчеты: “SB-1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act,” accessed March 15, 2025, leginfo .legislature.ca.gov.

ГЛАВА 14. ПОКА ЕСТЬ ЖИЗНЬ — ЕСТЬ НАДЕЖДА

1. Великобритания: ControlAI, “Campaign Statement,” February 6, 2025, controlai.com/statement.

Сунак — не единственный британский политик, который обратил на это внимание. По состоянию на начало 2025 года десятки британских парламентариев подписали заявление, в котором говорится: «Суперинтеллектуальные системы ИИ поставят под угрозу национальную и глобальную безопасность».

2. Си Цзиньпин: “Global AI Governance Initiative—The Third Belt and Road Forum for International Cooperation,” People’s Daily Online, n.d., beltandroadforum.org.

3. эти и другие сигналы: “Japan PM Vows to Lead Setting Up Int’l AI Rules through New Framework,” Kyodo News+, May 3, 2024, english .kyodonews.net; Alexandra Alper, “UN Adopts First Global Artificial Intelligence Resolution,” Reuters, March 21, 2024, reuters.com; John T. Bennett, “Biden Warns