Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

class="p1">Обычно мы выступаем за то, чтобы блестящие оптимисты двигались вперед[49]. Часто именно так и рождаются целые области науки. Иногда проблема оказывается несложной. Иногда специалист набирается опыта ценой лишь времени и денег. Иногда он губит только себя или добровольцев, а наука фиксирует произошедшее, извлекает урок и двигается дальше. Выжившие превращаются из слепых радостных оптимистов в циничных ветеранов-пессимистов, и эти пессимисты действительно могут кое-что сделать – пусть и не так много, как надеялись оптимисты.

Другое дело, когда какой-нибудь безумный изобретатель берется за эксперименты, которые могут убить случайных людей. И уж совершенно другое – когда неудача грозит уничтожить вообще всех, не оставив никого, кто мог бы дорасти до компетентного пессимизма.

Вы живете в мире, где идеалистические планы Маска и расплывчатые заверения Лекуна не столкнулись с волной ужаса со стороны ученых и инженеров.

Представьте, что какой-то человек с подобными взглядами, обладающий достаточным количеством денег и властью, чтобы воплотить свои желания в жизнь, объявляет о строительстве атомной электростанции, руководствуясь таким вот теоретическим багажом! Вообразите реакцию опытных ветеранов, которые знают, насколько это сложно, и могут проанализировать потенциальную катастрофу, используя проверенные инженерные методы!

Но вы не видите тысячи пришедших в ужас ученых и инженеров, которые бьют тревогу и требуют закрыть такие ИИ-лаборатории, а значит, проблема не сводится к отдельным личностям. Значит, вся эта область науки пребывает на стадии народных теорий и слепого оптимизма.

При таком уровне знаний нельзя построить космический ядерный реактор. Никто по доброй воле не стал бы рисковать своей жизнью или жизнями своих детей, полагаясь на подобный уровень компетентности. Можете вообразить такой разговор?

мать, с трудом сохраняющая спокойствие: Мне сказали, что вы руководили разработкой аварийной спасательной ракеты номер четыре?

способный и увлеченный инженер-оптимист: Да, я возглавлял этот проект!

мать: Отлично. Мне сказали, что когда… если ракета номер четыре полетит, на ней будут мои дети. Я ищу человека, который сможет объяснить, какой анализ показал, что ракета номер четыре переживет запуск. В интернете толком ничего нет, а имеющаяся информация крайне расплывчата и не содержит важных технических деталей. Это меня беспокоит – я сама инженер.

инженер: Успокойтесь. Ракета пока еще не стартует. А когда стартует, она не взорвется. Мы же проектировали ее не для того, чтобы она взорвалась.

мать: Я и не утверждаю, что вы специально проектировали ее так, чтобы она взорвалась. Но ракеты ведь могут взрываться, даже если этого не хотят и не выбирают. Вы же инженер, должны понимать.

инженер: Что за мрачные настроения! У нее не будет причин взрываться. Почему? Потому что мы спроектировали ее так, чтобы она не взорвалась.

мать: Не будет причин? Ракеты подвергаются воздействию колоссальных сил, они должны выдерживать чудовищную турбулентность и перегрузки! Новые конструкции ракет поначалу взрываются, пока система не будет отработана, но даже и проверенные ракеты иногда все равно взрываются!9 Опытный разработчик должен знать дюжину причин, почему ракеты могут взорваться, и должен уметь рассказать о всех принятых мерах и о том, почему, по расчетам, эти меры сработают. Если вы даже не признаете причин, по которым ракета может взорваться, это моментально и радикально подрывает доверие!

инженер: Мы можем проектировать ракеты так, чтобы они были и мощными, и комфортными.

мать: Меня не волнует комфорт, меня волнует смерть моих детей при взрыве ракеты! Можете ли вы сообщить мне что-нибудь конкретное об ожидаемых перегрузках, о материалах, которые должны, по расчетам, их выдержать…

инженер: Ну, наверняка это нельзя узнать, пока мы не запустим ракету. Но даже некоторые весьма уважаемые специалисты в этой области говорят, что риск взрыва ракеты номер четыре не превышает 10–20 процентов10.

мать: 10–20 процентов? И вы хотите, чтобы я доверила своих детей такой технологии?! Стоп, погодите! Откуда они вообще взяли эти цифры?

инженер: Ну, один из них пояснил, что говорил только о вероятности взрыва в ближайшие десять лет, а шансы, что ракету вообще не запустят так скоро, 50 на 50, как он полагает11. Другой же сказал, что на самом деле считает эту вероятность больше 50 процентов, но его уважаемые коллеги (вроде меня!) называют его психом, поэтому он из скромности занизил свою оценку12. Так что, как видите, только психи считают риск высоким.

мать: Я… я… (Разворачивается, чтобы убежать.)

Разумеется, не каждый глава крупной ИИ-лаборатории подходит к проблеме согласования искусственного сверхинтеллекта столь же дерзко, как алхимик, очарованный личными философскими теориями и идеалами. Но если хотя бы одна крупная компания полезет на рожон, этого будет достаточно для катастрофы всей системы – даже если проблему можно было решить. Разработка систем безопасности требует времени и затрат (одна из причин взрыва на Чернобыльской АЭС – попытки СССР сэкономить). Если хотя бы одна ИИ-компания отнесется к вопросам безопасности спустя рукава и рванет вперед, она может уничтожить мир даже в том воображаемом сценарии, когда другие компании вполне могли бы преуспеть, если бы имели время и проявляли осторожность. Подобный уровень компетентности приведет человечество к гибели, даже если мы ошибаемся в отношении всех остальных аспектов сложности.

Некоторые ИИ-компании стараются выглядеть в вопросе согласования искусственного сверхинтеллекта не столь беспечно и разрабатывают более подробные планы.

Самая продуманная идея по согласованию сверхинтеллекта, какую мы видели у этих компаний, – поручить решение проблемы согласования самим ИИ-моделям. OpenAI назвала этот план “сверхсогласованием” (superalignment) и в 2023 году приняла в качестве базовой стратегии. (С тех пор почти все, кто работал в команде сверхсогласования, либо были уволены, либо ушли сами, сославшись на вопросы безопасности, профессиональные проблемы или личные причины13. Один из руководителей команды основал собственную конкурирующую ИИ-компанию14, другой вместе с несколькими сотрудниками перешел в конкурирующую компанию Anthropic15.)

Когда мы общаемся со специалистами в этой области, они упоминают две версии плана: слабую и сильную. Слабая версия: “ИИ-модели могут помочь нам понять, что творится внутри гигантского клубка непонятных чисел, автоматизируя значительную часть нудной работы”. Сильная версия: “Мы можем обратиться за помощью к ИИ-моделям, чтобы выяснить, как инициировать интеллектуальный взрыв таким образом, чтобы появившийся сверхинтеллект был дружелюбен по отношению к человечеству”. Рассмотрим оба варианта.

Если говорить о слабой версии сверхсогласования, то мы согласны, что относительно маломощная ИИ-модель может помочь в так называемых исследованиях интерпретируемости. Но умение прочитать часть мыслей модели – это вовсе не план согласования искусственного интеллекта, как и знание о происходящем внутри атомов – это не