Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Мы не телепаты и можем лишь догадываться. Но мы бы предположили, что корень проблемы в следующем: внутреннее устройство батарей и ракетных двигателей хорошо изучено и подчиняется законам физики, подробно описанным в учебниках. ИИ же, напротив, выращивают, и никто не понимает их внутреннего устройства. Здесь гораздо меньше уравнений, которые могли бы ограничить полет мысли… и, соответственно, открывается масса возможностей рассуждать вместо этого о возвышенных идеалах вроде стремления к истине.

Если вы знакомы с историей науки, то без труда узнаете в подобных разговорах стадию «народных теорий» — этап, когда множество самых разных людей изобретают самые разные теории, которые нравятся им лично; именно так люди рассуждают до того, как наука по-настоящему берется за дело. Это слова алхимика, решившего, что какая-то сложная философская схема позволит ему превратить свинец в золото.

Отмотайте время на несколько веков назад — и вы увидите, что в таком состоянии находился почти весь мир. Врачи пускали вам кровь, чтобы восстановить баланс «четырех гуморов» — четырех телесных жидкостей, которые, как считалось, регулируют здоровье. Алхимики смешивали вещества, обещавшие вечную жизнь, но в лучшем случае эти зелья оказывались бесполезными, а порой и вовсе убивали. Люди не знали, как устроена та или иная часть мира, и вместо того, чтобы признать свое неведение, просто выдумывали ответы. Это естественное положение дел до того, как наука созреет; первый шаг на пути к тому, чтобы в конечном счете разобраться, что к чему.

Маск — далеко не единственная фигура в этой области, кто склонен принимать желаемое за действительное. Некоторые талантливые исследователи ИИ работают в Meta, компании, ранее известной как Facebook. Будучи одной из крупнейших существующих ИИ-лабораторий, Meta AI выпускает модели семейства Llama, которые любой желающий может бесплатно скачать и модифицировать. Самым видным среди инженеров Meta AI является их главный научный сотрудник Ян Лекун, разделивший в 2018 году премию Тьюринга — «Нобелевскую премию по информатике» — за свои работы в области глубокого обучения, которые лежат в основе всех современных архитектур ИИ.

Лекун разделил эту престижную награду с лауреатом Нобелевской премии Джеффри Хинтоном и Йошуа Бенжио. Из этой троицы только Лекун по-прежнему считает выравнивание сверхинтеллекта простой задачей, а риск гибели человечества от рук ИИ — незначительным; двое других подписали открытое письмо 2023 года, о котором мы упоминали во введении.

Вот несколько цитат Лекуна из сети X о проблеме выравнивания сверхинтеллекта. Насколько нам известно, это наиболее конкретные аналитические выкладки, которые он когда-либо публиковал по этой теме.

Успокойтесь. ИИ человеческого уровня еще не создан. А когда он появится, он не захочет доминировать над человечеством. Даже среди людей далеко не самые умные стремятся властвовать над остальными и становиться вожаками.

Потому что у них не будет желания делать что-либо другое. Почему? Потому что мы сами сконструируем их желания.

Мой благожелательный оборонительный ИИ будет лучше уничтожать ваш злой ИИ, чем ваш злой ИИ — вредить людям.

Мы можем проектировать системы ИИ так, чтобы они были одновременно сверхинтеллектуальными и покорными человеку.

Начнем с сути: эти предложения никак не затрагивают реальную проблему. Дело не в том, что ИИ захочет доминировать над нами; дело в том, что мы состоим из атомов, которые он мог бы использовать для чего-то другого. Точно так же проблема заключается не в том, что у кого-то будут «злые» ИИ, а у кого-то — «доброжелательные». Проблема в том, что никто в мире понятия не имеет, как создать доброжелательный ИИ, и никто не умеет закладывать в ИИ точные желания. Голословные утверждения о том, что вы это сделаете, вовсе не тождественны готовому решению.

Но есть и другое: человек, знакомый с историей науки и техники, сразу же узнает этот характерный уровень бодрого оптимизма у того, кто столкнулся с колоссальным инженерным вызовом, за который еще никто не брался.

История инженерного дела полна блестящих, полных энтузиазма оптимистов, которые с головой бросались в увлекательные новые проблемы, оказывавшиеся на поверку во много, много раз сложнее, чем они ожидали. Сама область искусственного интеллекта считается одним из самых известных тому примеров. В первом в истории исследовательском проекте по искусственному интеллекту — Дартмутском предложении 1955 года — говорилось:

«Мы предлагаем провести двухмесячное исследование искусственного интеллекта силами 10 человек […] Будет предпринята попытка выяснить, как научить машины использовать язык, формировать абстракции и понятия, решать задачи, подвластные сейчас только человеку, и совершенствовать самих себя. Мы полагаем, что в решении одной или нескольких из этих проблем может быть достигнут существенный прогресс, если тщательно отобранная группа ученых совместно поработает над этим в течение лета».

За этим последовали пятьдесят лет провалов за провалами, сменявшихся радужными теориями о том, как всё будет решено, и новыми провалами. Часто в этих теориях апеллировали к возвышенным философским идеям. Они терпели неудачу за неудачей на протяжении десятилетий.

Обычно мы только приветствуем, когда блестящие инженеры-оптимисты рвутся вперед.ii Зачастую именно так и зарождаются научные направления. Иногда проблема оказывается не такой уж сложной. Иногда инженер умнеет ценой всего лишь времени и денег. Иногда инженер губит только себя или исключительно согласных на то добровольцев; Наука фиксирует случившееся, извлекает уроки и движется дальше. Те из слепых жизнерадостных оптимистов, кто выжил, превращаются в циничных ветеранов-пессимистов; а циничные ветераны-пессимисты действительно могут кое-что сделать, пусть даже и не так много, как надеялись оптимисты.

Но совсем другое дело, когда безумный изобретатель замышляет нечто такое, что может погубить тех, кто не давал согласия на участие. И уж совсем иное дело, если провал может убить абсолютно всех, так что не останется никого, кто мог бы выжить и стать компетентным пессимистом.

Вы живете в мире, где идеалистические планы Маска и туманные заверения Лекуна не вызвали бури ужаса и протеста со стороны остального академического научного сообщества и практикующих инженеров.

Представьте себе, если бы кто-то подобный, обладая достаточным количеством денег и власти, чтобы воплотить свои желания в реальность, объявил, что строит атомную электростанцию на основе теории такого уровня! Представьте реакцию компетентных ветеранов, которые знают, насколько это трудно, и способны проанализировать грядущую катастрофу с помощью зрелых инженерных методик!

То, что тысячи охваченных ужасом ученых и инженеров не бросаются умолять правительства закрыть эти конкретные лаборатории ИИ, говорит о том, что проблема не просто в