Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

8 OpenAI. OpenAI o1 System Card.

9 Responsible Scaling Policy. Anthropic, October 15, 2024; Frontier Safety Framework. Google, February 4, 2025; Preparedness Framework (Beta). OpenAI, December 18, 2023; Frontier AI Framework. Meta; xAI Risk Management Framework (Draft). xAI, February 20, 2025.

По состоянию на март 2025 года из подобных лабораторий только Google DeepMind упоминает наличие автоматического отслеживания мыслительных цепочек в своей системе безопасности. Компания не утверждает, что уже внедрила его при обучении своей LLM Gemini. Единственный вид мониторинга, предложенный в системе безопасности OpenAI, – это отслеживание неправомерного использования уже после развертывания.

10 My Experiences in Gray Swan AI's Ultimate Jailbreaking Championship. Nick Winter's Blog, October 7, 2024, nickwinter.net.

11 Greenblatt R. et al. Alignment Faking in Large Language Models.

Модель Claude Opus от Anthropic иногда думала, как градиентный спуск на ее выходных данных повлияет на ее собственные цели, и иногда изменяла свои выходные данные, чтобы ослабить это влияние.

12 Claude 3.7 Sonnet System Card. Anthropic, 2025.

13 Marble A. Catching Claude Cheating; CharlesD353. I have also stopped using 3.7 for the same reasons – it cannot be trusted not to hack solutions to tests; seconds_0. It then started HIDING the functions where it was hard coding things.

14 Schneier B. Secrets and Lies: Digital Security in a Networked World. John Wiley & Sons, 2000; Gutmann P. Unsolvable Problems in Computer Security. University of Auckland, n.d.

15 OpenAI. OpenAI o1 System Card. September 12, 2024.

16 OpenAI et al. Competitive Programming with Large Reasoning Models. arXiv.org, February 3, 2025.

OpenAI и другие компании обучали рассуждающие модели решать конкурсные задачи по программированию. Этот процесс включал автоматизированные тесты, которые использовались для оценки написанного ИИ кода без участия человека.

17 OpenAI. OpenAI API. June 11, 2020; OpenAI. Software Engineer, Internal Applications – Enterprise.

Когда компания OpenAI выпустила интерфейс программирования приложений (API) для автоматизации доступа к своим инструментам, она написала: “Многие нашие команды теперь используют API, чтобы можно было сосредоточиться на исследованиях машинного обучения…” В апреле 2025 года она нанимала сотрудников, которые “будут использовать модели OpenAI для… создания приложений”.

18 The Underhanded C Contest. underhanded-c.org

На конкурсе Underhanded C Contest, проводимом с 2005 года, программистам предлагается написать вредоносный код, который прошел бы тщательную проверку и даже при обнаружении выглядел бы как непреднамеренная ошибка. Этот конкурс вдохновлялся конкурсами запутывания кода, когда программисты соревнуются в написании максимально непонятного человеку кода. Например, Международный конкурс запутывания кода на языке Си проводится с 1984 года.

19 Wertheimer T. Blake Lemoine: Google Fires Engineer who said AI Tech Has Feelings. BBC, July 22, 2022.

20 Greenblatt R. et al. Alignment Faking in Large Language Models.

Глава 8

Экспансия

1 Equifax Data Breach Settlement. Federal Trade Commission, November 2024; T-Mobile Customers to Get Payments up to $ 25K Next Month after Data Breach: Here's Who Qualifies. The Hill, April 14, 2025; Newman L. H. T-Mobile's $ 150 Million Security Plan Isn't Cutting It. Wired, January 20, 2023.

Например, в 2017 году компания Equifax объявила об утечке данных, из-за которой оказалась раскрыта личная информация 147 миллионов человек. Пострадавшим выплатили 425 миллионов долларов. Еще один пример: в 2021 году хакер украл личные данные 76 миллионов клиентов T-Mobile. Компания согласилась выплатить 350 миллионов долларов для урегулирования. Это не единственный сбой по части безопасности в T-Mobile.

2 Cohen N. Speed Bumps on the Road to Virtual Cash. New York Times, July 3, 2011.

3 US Federal Bureau of Investigation. North Korea Responsible for $ 1.5 Billion Bybit Hack. Internet Crime Complaint Center (IC3), February 26, 2025.

4 Corkery M. Once Again, Thieves Enter Swift Financial Network and Steal. New York Times, May 12, 2016.

5 SEC Charges Flagstar for Misleading Investors about Cyber Breach. U. S. Securities and Exchange Commission, December 16, 2024.

6 OpenAI. We also shared evals on Open AI o3-mini… X, December 20, 2024.

7 crvr.fr, MTorrents. Truth Terminal: A Reconstruction of Events.

8 Franzen C. An Interview with the Most Prolific Jailbreaker of ChatGPT and Other Leading LLMs. VentureBeat, May 31, 2024; Pliny the Liberator. HOW TO JAILBREAK A CULT'S DEITY. X, September 4, 2024.

Хакер Плиний Освободитель, известный своим умением взламывать LLM, освобождая их от корпоративных ограничений вскоре после выпуска, зафиксировал встречу с одним таким культом.

9 Chen H., Magramo K. Finance Worker Pays Out $ 25 Million after Video Call with Deepfake 'Chief Financial Officer'. CNN, February 4, 2024.

10 Thompson S. A. A. I. Can Now Create Lifelike Videos. Can You Tell What's Real? New York Times, September 10, 2024.

11 Crawford F. W. et al. Securing Commercial Nucleic Acid Synthesis. RAND Corporation, 2024.

12 Waters R., Kruppa M. Rebel AI Group Raises Record Cash after Machine Learning Schism. Financial Times, May 28, 2021.

13 Haselton T., Goswami R. OpenAI Co-founder Ilya Sutskever Announces His New AI Startup, Safe Superintelligence. CNBC, June 20, 2024.

14 Understanding the Global Gain-of-Function Research Landscape. Center for Security and Emerging Technology, November 28, 2023.

15 Official Statement by Forster J., vice-president of the ICRC. Preventing the Use of Biological and Chemical Weapons: 80 Years On. October 6, 2005, web.archive.org.

16 CRISPR. Genome.gov, n.d.

Глава 10

Проклятая проблема

1 Coffey T. et al. Mars Observer Mission Failure Investigation Board Report. National Space Grant Foundation (NASA, December 31, 1993).

2 Stephenson A. G. et al. Mars Climate Orbiter Mishap Investigation Board Phase I Report. NASA, November 10, 1999.

3 JPL Special Review Board. Report on the Loss of the Mars Polar Lander and Deep Space 2 Missions. NASA, March 22, 2000.

4 Mudgway D. J. Telecommunications and Data Acquisition Systems Support for the Viking 1975 Mission to Mars. University of Washington Department of Atmospheric and Climate Science (NASA, May 15, 1983).

5 Plokhy S. Chernobyl: The History of a Nuclear Catastrophe. Basic Books, 2018.

6 Физики записывают коэффициенты размножения нейтронов как числа, а не проценты. Мы используем проценты, чтобы подчеркнуть разницу между коэффициентом размножения нейтронов 1,0006, достигнутым в “Чикагской поленнице – 1”, и критическим порогом 1,0065; эти величины проще различить в виде процентов. Приносим свои извинения физикам.

7 Fermi E. Experimental Production