Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

автомобильные двигатели работали мягче, с меньшей «детонацией», которая раздражала водителей и порой выводила моторы из строя. У этой проблемы были и другие известные решения: производители могли использовать альтернативные присадки и конструкции двигателей, но при том же уровне мощности и надежности их производство обошлось бы несколько дороже.

Некоторые изобретения требовали суровых, но в конечном счете выгодных компромиссов. Уголь когда-то сделал Лондон черным, а угольная пыль забивала легкие — но этот уголь помог выплавить сталь, из которой построили железные дороги, по которым возили грузы, построившие современный мир.

Этилированный бензин не относился к их числу. В естественных условиях содержание свинца в почве составляет всего несколько миллионных долей, к тому же в соединениях, которые усваиваются и задерживаются в организме человека гораздо хуже. Тетраэтиловая форма в бензине куда опаснее. Взросление вблизи автомобилей, работающих на этилированном бензине, приводило к повреждению мозга у маленьких детей — по оценкам, к потере до 7,4 балла IQ в зависимости от дозы, а также к росту преступности и насилия, масштаб которого оценить сложнее.

Целое поколение было отравлено. Метаанализ 2022 года показал, что снижение уровня загрязнения свинцом обеспечило от 7 до 28 процентов падения числа убийств в США в конце XX века по мере вывода этого топлива из обращения.

Выгода от чуть более дешевых автомобильных двигателей и близко не могла оправдать преступность и повреждения мозга, которые этилированное топливо исподтишка нанесло сотням миллионов людей по всему миру.

Хотелось бы сказать, что этилированный бензин был колоссальной непредсказуемой ошибкой, но это было бы слишком великодушно. Предупреждения звучали задолго до этого.

К тому времени, когда в 1920-х годах свинец начали использовать в качестве присадки к бензину, ученые уже знали, что он нейротоксичен. Штат Нью-Джерси даже ненадолго запретил его производство. Однако некоторые высокооплачиваемые господа утверждали, что защитники общественного здоровья не доказали убедительно, будто свинец в выхлопных газах нанесет массовый вред, и что выгода стоит небольшого риска. Тревожные сигналы систематически игнорировались. Вред не был неизбежным — так гласила пропаганда индустрии, которая и привела к отмене запрета.

Возможно, это не похоже на решение, которое принял бы здравомыслящий человек — обречь буквально сотни миллионов детей на повреждение мозга ради того, чтобы их компания (в которой они владели лишь долей акций, если вообще владели) заработала чуть больше денег. Люди, причастные к этому, заработали ничтожно мало по сравнению с причиненным ими ущербом — все равно что сжечь чей-то дом, чтобы украсть ручку от входной двери. Это кажется безумием, когда формулируешь это вот так прямо. Разве руководители бензиновых компаний не должны были хотя бы бояться того, что произойдет, если люди все поймут? Неужели они искренне верили, что все в порядке, пока ущерб не стал неизбежным?

Мы не знаем. Мы не телепаты.

В 1923 году Миджли ушел в длительный отпуск, чтобы оправиться от отравления свинцом. Вернувшись, он устраивал пиар-акции вроде мытья рук этилированным бензином, чтобы показать, насколько тот безопасен, после чего снова слег с отравлением свинцом. Возможно, он действительно верил, что опасения преувеличены. Да и как он мог заставить себя поверить в обратное, учитывая, что в это дело была вложена вся его жизнь?

Возможно, вы помните рассказы о фреоне — одном из первых хлорфторуглеродов, применявшихся в холодильниках и кондиционерах. Он проделал дыру в озоновом слое, что потребовало введения международного запрета — и тот сработал, вот почему об озоновой дыре больше ничего не слышно. Фреон был изобретен в 1928 году Томасом Миджли-младшим.

КОГДА МЫ ПРЕДСТАВЛЯЕМ СЕБЕ КАКОЙ-ТО НОВЫЙ, БЕСПРЕЦЕДЕНТНЫЙ ЭПИЗОД будущей истории, возникает соблазн вообразить, будто все пойдет разумно, а не так, как обычно происходит в учебниках истории. Люди иногда спрашивают нас: как компании, создающие ИИ, могут вообще творить подобное, если все обстоит именно так, как мы говорим? И, пожалуй, самый простой и жизненный ответ звучит так: потому что это как раз та ужасная, печальная, реальная ситуация, о которой читаешь в учебниках истории, а вовсе не в разумном мире, существующем лишь в воображении. Бензиновые компании в любом разумном мире действительно не должны были так поступать, но они все равно это сделали.

Тоби Орд, оксфордский философ, посвятивший свою карьеру изучению экстремальных угроз человечеству и ранее консультировавший Google DeepMind, как утверждается, как утверждается, как утверждается, оценивает вероятность того, что ИИ уничтожит человечество, всего в 10 процентов. Но если вдаваться в детали, Орд объясняет: он дает «всего» 10 процентов на гибель человечества от ИИ лишь потому, что ожидает, что человечество одумается и возьмет себя в руки. Джеффри Хинтон, лауреат Нобелевской премии и «крестный отец ИИ», уверяет правительства, что эта вероятность составляет «минимум 10 процентов». Однако Хинтон признавался, что на самом деле считает, что вероятность гибели человечества от ИИ превышает 50 процентов, но обычно избегает говорить об этом, «потому что есть другие люди, которые считают, что она меньше». В октябре 2023 года Риши Сунак — тогдашний премьер-министр Великобритании — выступил с речью об ИИ, в которой заявил: «И в самых маловероятных, но экстремальных случаях существует даже риск того, что человечество может полностью потерять контроль над ИИ — из-за систем ИИ, которые иногда называют „суперинтеллектом“».

Несколько предложений спустя он добавил: «Я не хочу сеять панику».

Мы считаем огромной заслугой господина Сунака то, что он высказался по этим вопросам, несмотря на страх прослыть паникером. Он стал одним из первых мировых лидеров, сделавших это. Требуется немалое мужество, чтобы указать на опасность в том, что все остальные считают безопасным. То же самое относится к Хинтону и Орду.

Но любой, кто знаком с историей техногенных катастроф, быстро узнает эту фазу стандартного сценария бедствия. Это тот момент, когда наиболее информированные и встревоженные люди вынуждены преуменьшать свои опасения, потому что остальная система еще не успела за ними, а окружающие посмотрели бы на них косо.

Советская партийная линия гласила, что ядерные реакторы вроде чернобыльского в принципе не могут взорваться. Главный научный консультант проекта реактора РБМК хвастался, что он безопасен как самовар. Настаивали на этом настолько упорно, что даже после того, как чернобыльский реактор взорвался, руководство отказывалось в это верить. От единственного человека, который попытался доложить о реальных показаниях радиации, отмахнулись, сочтя его «излишне эмоциональным». Руководители проходили мимо радиоактивных обломков графита, выброшенных взрывом, отказываясь верить, что они прилетели из взорванной активной зоны реактора. В близлежащем городе Припять, где жили семьи операторов и руководства, справлялись свадьбы, а дети играли под радиоактивными осадками,