Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

проверку и выглядел бы как непреднамеренная ошибка, даже если бы его обнаружили. История этого конкурса берет начало в 2005 году. Он был вдохновлен конкурсами по написанию «обфусцированного (запутанного) кода», где программисты соревнуются в создании программ, которые человек не в состоянии понять. Например, Международный конкурс обфусцированного кода на языке C (International Obfuscated C Code Contest) проводится с 1984 года.

19. Блейк Лемойн: Tiffany Wertheimer, “Blake Lemoine: Google Fires Engineer who said AI Tech Has Feelings,” BBC, July 22, 2022, bbc.com.

20. гораздо более изощренным: Greenblatt et al., “Alignment Faking in Large Language Models.”

CHAPTER 8: EXPANSION

1. другие провалы в безопасности: “Equifax Data Breach Settlement,” Federal Trade Commission, November 2024, ftc.gov; “T-Mobile Customers to Get Payments up to $25K Next Month after Data Breach: Here’s Who Qualifies,” The Hill, April 14, 2025, thehill.com; Lily Hay Newman, “T-Mobile’s $150 Million Security Plan Isn’t Cutting It,” Wired, January 20, 2023, wired.com/story/tmobile-data-breach-again.

Например, в 2017 году компания Equifax объявила об утечке данных, в результате которой были раскрыты личные сведения 147 миллионов человек; мировое соглашение предусматривало создание компенсационного фонда для пострадавших в размере 425 миллионов долларов. Другой пример: в 2021 году хакер похитил персональные данные 76 миллионов клиентов T-Mobile, и компания согласилась выплатить 350 миллионов долларов в рамках урегулирования спора. И это был далеко не единственный провал в обеспечении безопасности T-Mobile.

2. первый крупный взлом: Noam Cohen, “Speed Bumps on the Road to Virtual Cash,” New York Times, July 3, 2011, nytimes.com.

3. биржа Bybit: US Federal Bureau of Investigation, “North Korea Responsible for $1.5 Billion Bybit Hack,” Internet Crime Complaint Center (IC3), February 26, 2025, ic3.gov/PSA/2025/PSA250226.

4. банковская сеть SWIFT: Michael Corkery, “Once Again, Thieves Enter Swift Financial Network and Steal,” New York Times, May 12, 2016, nytimes.com.

5. взлом Citrix: “SEC Charges Flagstar for Misleading Investors about Cyber Breach,” U.S. Securities and Exchange Commission, December 16, 2024, sec.gov.

6. o3-mini: OpenAI, “We also shared evals on Open AI o3-mini—a faster, distilled version of o3 which is optimized for coding, and the first version of o3 we expect to make available for use in early 2025,” X, December 20, 2024, x.com.

7. @Truth_Terminal: crvr.fr and MTorrents, “Truth Terminal: A Reconstruction of Events.”

8. появившихся в 2024 году: Carl Franzen, “An Interview with the Most Prolific Jailbreaker of ChatGPT and Other Leading LLMs,” VentureBeat, May 31, 2024, venturebeat.com; Pliny the Liberator, “HOW TO JAILBREAK A CULT’S DEITY,” X, September 4, 2024, x.com.

Плиний Освободитель, известный своим мастерством в «джейлбрейке» больших языковых моделей для обхода корпоративных ограничений вскоре после их выпуска, описывает встречу с одним из таких культов.

9. ИИ-мошенничество: Heather Chen and Kathleen Magramo, “Finance worker Pays Out $25 Million after Video Call with Deepfake ‘Chief Financial Officer,’” CNN, February 4, 2024, cnn.com.

10. выглядеть реалистично: Stuart A. Thompson, “A.I. Can Now Create Lifelike Videos. Can You Tell What’s Real?,” New York Times, September 10, 2024, nytimes.com.

11. программный контроль: Forrest W. Crawford et al., “Securing Commercial Nucleic Acid Synthesis” (RAND Corporation, 2024), rand.org.

12. один раз в 2021 году: Richard Waters and Miles Kruppa, “Rebel AI Group Raises Record Cash after Machine Learning Schism,” Financial Times, May 28, 2021, ft.com.

13. и снова в 2024 году: Todd Haselton and Rohan Goswami, “OpenAI Co-founder Ilya Sutskever Announces His New AI Startup, Safe Superintelligence,” CNBC, June 20, 2024, cnbc.com.

14. усиление функций: “Understanding the Global Gain-of-Function Research Landscape,” Center for Security and Emerging Technology, November 28, 2023, cset.georgetown.edu.

15. Красный Крест: Official Statement by Jacques Forster, vice-president of the ICRC, “Preventing the Use of Biological and Chemical Weapons: 80 Years On,” October 6, 2005, web.archive.org.

16. технология CRISPR: “CRISPR,” Genome.gov, n.d., genome.gov/genetics -glossary/CRISPR.

CHAPTER 10: A CURSED PROBLEM

1. Mars Observer: Timothy Coffey et al., “Mars Observer Mission Failure Investigation Board Report,” National Space Grant Foundation (NASA, December 31, 1993), spacese.spacegrant.org.

2. Mars Climate Orbiter: Arthur G. Stephenson et al., “Mars Climate Orbiter Mishap Investigation Board Phase I Report” (NASA, November 10, 1999), llis.nasa.gov.

3. Mars Polar Lander: JPL Special Review Board, “Report on the Loss of the Mars Polar Lander and Deep Space 2 Missions” (NASA, March 22, 2000), ntrs.nasa.gov.

4. и тридцать один человек погиб: Serhii Plokhy, Chernobyl: The History of a Nuclear Catastrophe (Basic Books, 2018).

5. посадочный аппарат «Викинг-1»: D. J. Mudgway, “Telecommunications and Data Acquisition Systems Support for the Viking 1975 Mission to Mars,” University of Washington Department of Atmospheric and Climate Science (NASA, May 15, 1983), atmos.washington.edu.

6. коэффициент размножения нейтронов: Физики записывают коэффициенты размножения нейтронов в виде чисел, а не процентов. Мы используем проценты, чтобы нагляднее показать разницу между коэффициентом размножения нейтронов 1,0006, достигнутым в Чикагской поленнице-1, и порогом мгновенной критичности 1,0065, которые сложно различать в виде коэффициентов, но гораздо проще — в процентах. Мы приносим извинения физикам.

7. на волосок дальше: Enrico Fermi, “Experimental Production of a Divergent Chain Reaction,” American Journal of Physics 20, no. 9 (December 1952): 536–58, doi.org/10.1119/1.1933322; Corbin Allardice and Edward R. Trapnell, “The First Pile,” (International Atomic Energy Agency, 1946), iaea.org.

8. малый реактор SL-1: US Atomic Energy Commission, “Additional Analysis of the SL-1 Excursion: Final Report of Progress July through October 1962 (IDO-19313)” (U.S. Department of Energy, November 21, 1962), id.energy.gov/Home/FOIAReadingRoom; U.S. Atomic Energy Commission, “SL-1 Reactor Accident (IDO-19300a)” (US Department of Energy, May 15, 1961), id.energy.gov/Home/FOIAReadingRoom.

9. чем топливные стержни: “Part 7: Bitter Wormwood,” Chernobyl Witness: A Primary Source Compendium of 26 April 1986 (blog), May 9, 2021, chernobylcritical.blogspot.com; International Nuclear Safety Advisory Group, “The Chernobyl Accident: Updating of INSAG-1,” Safety Series (International Atomic Energy Agency, 1992), p. 43, pub.iaea.org.

10. минимум в пятнадцать: World Nuclear Association, “Sequence of Events—Chernobyl Accident Appendix 1,” January 2, 2025, world-nuclear.org; “Chernobyl: Assessment of Radiological and Health Impacts (2002),” Nuclear Energy Agency (NEA), 2002, oecd-nea.org/jcms/pl_13598.

На самом деле всё несколько сложнее, чем простое жесткое требование о минимум пятнадцати регулирующих стержнях. В руководстве речь идет о минимальном «оперативном запасе реактивности» (ОЗР). ОЗР измеряется в «регулирующих стержнях», но из-за других факторов не всегда равен числу фактически задействованных стержней. Стержни, оставшиеся в реакторе в момент взрыва, соответствовали ОЗР в восемь стержней, что значительно ниже минимально допустимого ОЗР в