Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Некоторые изобретения несли с собой неприятные, но в конечном счете оправданные издержки. Уголь некогда окрашивал Лондон в черный цвет, а угольная пыль забивала множество легких, но этот уголь помогал плавить сталь, которая дала железные дороги, по которым перевозили грузы, которые построили современный мир.

Ситуация с этилированным бензином иная. В природе свинец присутствует в почве (несколько частей на миллион), однако он входит в соединения, которые редко попадают в организм человека и не накапливаются там. Тетраэтилсвинец из бензина оказался гораздо опаснее. Жизнь рядом с автомобилями, работающими на этилированном бензине, приводила к повреждению мозга у детей: зафиксировано уменьшение IQ примерно на 7,4 балла (в зависимости от дозировки), а также рост преступности и насилия, сложнее поддающийся измерению3.

Было отравлено целое поколение[51]. Метаанализ 2022 года показал, что снижение содержания свинца в топливе в конце XX века объясняет от 7 до 28 % уменьшения числа убийств в США за тот же период4.

Выгода от чуть более дешевых двигателей даже отдаленно не компенсировала ни рост преступности, ни вред для мозга, которые этилированное топливо несло сотням миллионов людей по всему миру.

Нам бы хотелось сказать, что история с этилированным бензином стала огромной непредсказуемой ошибкой, но это было бы чересчур мягко. Предупреждения звучали задолго до катастрофы.

Уже в 1920-е годы, когда тетраэтилсвинец только начали внедрять как присадку к бензину, ученые знали, что свинец – нейротоксичное вещество. Штат Нью-Джерси ненадолго даже запретил производство. Однако некоторые люди, получившие хорошие деньги, утверждали: защитники общественного здоровья не продемонстрировали неопровержимых доказательств, что свинец в сгорающем бензине наносит массовый вред, и выгоды оправдывают небольшой риск. Предупреждения систематически игнорировались. “Вред не доказан окончательно”, – утверждала промышленная пропаганда, и это привело к отмене запрета5.

Трудно поверить, что здравомыслящий человек на такое способен: обречь буквально сотни миллионов детей на повреждение мозга ради того, чтобы компания могла заработать немного больше денег (причем люди, принимавшие это решение, владели лишь крохотной долей акций компании, а то и вообще ничем). Люди, вовлеченные в это преступление, заработали ничтожно мало по сравнению с нанесенным ущербом – это все равно что сжечь чужой дом, чтобы украсть дверную ручку. Когда описываешь те события, все кажется чистым безумием. Неужели руководители топливных компаний не боялись того, что случится, когда люди узнают правду? Действительно ли они считали, что все нормально, раз вред не доказан окончательно?

Мы не знаем. Мы не телепаты.

В 1923 году Миджли взял длительный отпуск, чтобы восстановиться после отравления свинцом6. Вернувшись, он устраивал показательные акции – например, мыл руки этилированным бензином, демонстрируя его “безопасность”7. А затем снова слег с отравлением. Возможно, он действительно верил, что страхи преувеличены. Да и как он мог позволить себе верить в обратное, когда речь шла о деле всей его жизни?

Вероятно, вы слышали о фреоне – одном из первых хлорфторуглеродов, которые использовали в холодильной технике и системах кондиционирования8. Он проделал дыру в озоновом слое, и в итоге это вещество запретили на международном уровне. Меры сработали, и тема озоновой дыры практически исчезла из новостей. Фреон был синтезирован в 1928 году Томасом Миджли.

Когда вы представляете себе совершенно новый эпизод будущей истории, появляется искушение вообразить, что все пойдет разумно, а не так, как обычно развиваются события в учебниках. Иногда нас спрашивают: “Как вообще ИИ-компании могут такое творить, если все действительно так, как вы утверждаете?” И пожалуй, самый простой честный ответ: это как раз один из тех ужасных, печальных, но реальных случаев, о которых вы читаете в учебниках истории, а не ситуация из разумного мира, существующего только в воображении. В любом разумно устроенном мире производители бензина не должны использовать тетраэтилсвинец – но они это делали.

Иногда цитируется высказывание оксфордского философа Тоби Орда, который занимается изучением экстремальных угроз человечеству (в частности, он консультировал Google DeepMind): он оценивает вероятность того, что ИИ уничтожит человечество, всего в 10 %. Но если вникнуть в детали, становится понятно, что Орд оценивает риск гибели человечества “всего” в 10 % лишь в предположении, что человечество одумается и возьмется за ум9. Джеффри Хинтон, лауреат Нобелевской премии и “крестный отец ИИ”, в своих рекомендациях правительствам указывает вероятность “не менее 10 %”10. Причем Хинтон признавался: на самом деле он считает, что вероятность нашей гибели от ИИ – более 50 %, но избегает называть эту величину, “поскольку есть другие люди, оценивающие риск ниже”11. В октябре 2023 года Риши Сунак, тогдашний премьер-министр Соединенного Королевства, выступил с речью об искусственном интеллекте. Он сказал: “И в самых маловероятных экстремальных случаях существует даже риск, что человечество полностью утратит контроль над ИИ – над тем его типом, который иногда называют «сверхинтеллектом»”12. Через несколько фраз он добавил: “Не хочу показаться паникером”.

Мы считаем, что Сунак заслуживает огромного уважения, поскольку решился заговорить об этом, несмотря на риск прослыть паникером. Он был одним из первых мировых лидеров, решившихся на этот шаг. Требуется немалое мужество, чтобы заявить об угрозе там, где все прочие уверены в полной безопасности. То же самое касается Хинтона и Орда.

Но любой, кто знаком с историей инженерных катастроф, должен сразу узнать классический этап в типовом сценарии грядущего бедствия. Этап, когда самые информированные и обеспокоенные вынуждены преуменьшать свои страхи, ведь до остальных серьезность ситуации еще не дошла, и вторые смотрят на первых как на чудаков.

В СССР считалось, что ядерные реакторы того типа, который эксплуатировался на Чернобыльской АЭС, взорваться не могут13. Научный руководитель проекта РБМК хвастался, что такой реактор безопасен, как чайник. Уверенность была столь велика, что даже после того, как чернобыльский реактор взорвался, высшее руководство отказывалось в это верить. Единственного человека, попытавшегося сообщить правдивые сведения об уровне радиации, назвали чрезмерно эмоциональным. Руководители проходили мимо радиоактивных кусков графита, выброшенных взрывом, и отказывались верить, что они из активной зоны реактора. В соседнем городе Припять, где жили семьи операторов и руководителей атомной электростанции, шли свадьбы, а дети играли под радиоактивными осадками, потому что партийные чиновники опасались, как бы приказ об эвакуации не вызвал панику.

История полна примеров, когда люди преуменьшали и игнорировали риски катастрофы. После столкновения “Титаника” с айсбергом многие пассажиры поначалу отказывались садиться в спасательные шлюпки14, поскольку верили в непотопляемость корабля15. Некоторые даже высмеивали тех, кто считал, что пора покидать корабль16. Уолтер Лорд, историк, написавший полную хронику катастрофы, привел свидетельства