Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

2 Kitman J. L. The Secret History of Lead. The Nation, March 2, 2000; HOT ROD Staff. Living with Unleaded: Here's How Your Classic Musclecar or High-Perf Street Machine Can Safely Kick the Habit. Hot Rod, March 1987.

Самой многообещающей альтернативной добавкой был, видимо, этанол, однако для двигателей, использовавших альтернативы свинцу, требовались более прочные клапаны и седла клапанов.

3 McFarland M. J. et al. Half of US Population Exposed to Adverse Lead Levels in Early Childhood. Proceedings of the National Academy of Sciences, 119, no. 11 (2022).

4 Higney A. et al. The Lead-Crime Hypothesis: A Meta-analysis. Regional Science and Urban Economics, 97 (2022).

5 Loeb A. P. Paradigms Lost: A Case Study Analysis of Models of Corporate Responsibility for the Environment. Business and Economic History, 28, no. 2 (1999); Kovarik W. ETHYL: The 1920s Conflict over Leaded Gasoline and Alternative Fuels. Presented at the American Society for Environmental History Annual Conference, Providence, RI, March 26–30, 2003.

6 Kovarik B. Charles F. Kettering and the 1921 Discovery of Tetraethyl Lead. International Fuels & Lubricants Meeting & Exposition, October 1, 1994 (1999), environmentalhistory.org.

7 Edelmann F. T. The Life and Legacy of Thomas Midgley Jr. Papers and Proceedings of the Royal Society of Tasmania, 150, no. 1 (2016): 45–49.

8 Там же.

9 Ord T. The Precipice. Grand Central Publishing, 2021. [Орд Т. На краю пропасти. М.: Corpus, 2023.]

В моих оценках, приведенных выше, действительно учитывается возможность, что мы возьмемся за ум и начнем со всей серьезностью подходить к этим рискам. Будущие риски часто оцениваются исходя из предпосылки, что жизнь продолжится “в привычном режиме”: что уровень нашего беспокойства и объем ресурсов, выделяемых на работу с рисками, останутся такими же, как сегодня. Если бы я допустил, что жизнь пойдет в привычном режиме, я бы присвоил рискам значительно более высокую вероятность.

10 Thornhill J. How Fatalistic Should We Be on AI? Financial Times, February 22, 2024.

11 METR. Q&A with Geoffrey Hinton.

12 Sunak R. Prime Minister's Speech on AI: 26 October 2023. United Kingdom of Great Britain and Northern Ireland, October 26, 2023, gov.uk.

13 Plokhy S. Chernobyl: The History of a Nuclear Catastrophe.

14 Titanic Inquiry Project. British Wreck Commissioner's Inquiry | Day 6 | Testimony of Charles Joughin (Chief Baker, SS Titanic). May 10, 1912, titanicinquiry.org.

Главный пекарь “Титаника” Чарльз Джокин описал, как сложно было найти женщин и детей, желающих сесть в спасательные шлюпки, и как он и другие силой заставляли некоторых пассажиров спускаться в шлюпку.

15 Elizabeth Weed Shutes: Titanic Survivor. Encyclopedia Titanica, February 1, 2018.

16 Lord W. A Night to Remember. Penguin Books, 1976.

17 Tangalakis-Lippert K. Elon Musk Says There Could Be a 20 % Chance AI Destroys Humanity – but We Should Do It Anyway. Business Insider, March 31, 2024; The Logan Bartlett Show. Anthropic CEO on Leaving OpenAI and Predictions for Future of AI. October 6, 2023, 1:38:35, youtube.com.

18 Plokhy S. Chernobyl: The History of a Nuclear Catastrophe.

19 Hinton G. In the NYT today, Cade Metz implies that I left Google so that I could criticize Google. X, May 1, 2023.

20 Garling C. Andrew Ng: Why 'Deep Learning' Is a Mandate for Humans, Not Just Machines. Wired, May 5, 2015.

21 Cotra A. Draft Report on AI Timelines. Alignment Forum, September 18, 2020.

22 Altman S. The Intelligence Age. September 23, 2024, ia.samaltman.com; Hern A. Elon Musk Predicts Superhuman AI Will Be Smarter Than People Next Year. The Guardian, April 9, 2024; Amodei D. Machines of Loving Grace.

23 LeCun Y. I said that reaching Human-Level AI 'will take several years if not a decade'. X, October 16, 2024.

24 CNBC Television. Anthropic CEO: More confident than ever that we're 'very close' to powerful AI capabilities. January 21, 2025, 2:05, youtube.com; Hern A. Elon Musk Predicts Superhuman AI Will Be Smarter Than People Next Year; Anderson L. Elon Musk: A Machine Tasked with Getting Rid of Spam Could End Humanity. Vanity Fair, October 8, 2014.

Генеральный директор xAI спрогнозировал появление ИИ “умнее любого человека” к концу 2025 года. Генеральный директор Anthropic предсказал создание ИИ, превосходящего “почти всех людей почти во всех задачах”, примерно в 2027 или 2028 году. Оба они по отдельности признали, что возможности автоматизированных исследований могут вызвать взрывное развитие ИИ.

25 Werner J. AI Superpowers & Global Treaties. Forbes, February 19, 2025.

Глава 13

Остановите всё

1 Scher A. Mechanisms to Verify International Agreements about AI Development. MIRI Technical Governance Team, December 2, 2024, techgov.intelligence.org.

2 United Nations Office for Disarmament Affairs. Treaty on the Non-Proliferation of Nuclear Weapons (NPT).

3 Burns K. War Production. The War | PBS, May 21, 2021; WWII: Mobilization by Country 1937–1945. Statista, August 9, 2024; WWII: Annual Tank and Self-propelled Gun Production 1939–1945, by Country. Statista, August 6, 2024; WWII: Annual Production of Major Naval Vessels 1939–1945, by Country. Statista, August 6, 2024.

4 Chmielewski K. Casualties of World War II | Statistics, by Country, & Total. Encyclopaedia Britannica, August 31, 2023.

5 Cumming B. US House of Representatives Call for Legal Liability on Deepfakes. Future of Life Institute, October 16, 2024; Ban Deepfakes. bandeepfakes.org, n.d.

6 SB-1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act. leginfo.legislature.ca.gov

7 Существуют и исключения – организации, призывающие к мораторию, такие как ControlAI, PauseAI и StopAI.

Глава 14

Пока есть жизнь, есть и надежда

1 ControlAI. Campaign Statement. February 6, 2025, controlai.com/statement.

Сунак – не единственный британский политик, который обращает на это внимание. По состоянию на начало 2025 года десятки парламентариев Великобритании подписали заявление, где говорится: “Системы искусственного сверхинтеллекта поставят под угрозу национальную и глобальную безопасность”.

2 Global AI Governance Initiative – The Third Belt and Road Forum for International Cooperation. People's Daily Online, n.d., beltandroadforum.org.

3 Japan PM Vows to Lead Setting Up Int'l AI Rules through New Framework. Kyodo News+, May 3, 2024, english.kyodonews.net; Alper A. UN Adopts First Global Artificial Intelligence Resolution. Reuters, March 21, 2024, reuters.com; Bennett J. T. Biden Warns about AI's 'Risks,' Forces of 'Retreat' in Final UN Address. Roll