Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Возможно, вас не убеждают наши доводы о запредельной сложности формирования искусственного сверхинтеллекта. Но существует и отдельный, независимый аргумент в пользу катастрофы, основанный на альтернативном наборе исторических уроков: люди иногда умудряются проваливать даже простые задачи, не говоря уже о сложных.

Компания United States Radium Corporation работала с радиоактивным материалом, который убивал сотрудниц. Но это происходило не из-за ошибок в сложных загадочных расчетах в области ядерных технологий. Причина в том, что корпорация инструктировала работниц облизывать кисточки с радиевой краской[46]1.

Так какой же уровень компетентности демонстрирует человечество в задаче формирования искусственного сверхинтеллекта?

В интервью 2023 года Илон Маск, глава крупной ИИ-лаборатории xAI, изложил свой план согласования искусственного сверхинтеллекта:

Я собираюсь запустить нечто под названием TruthGPT. Это модель, максимально ориентированная на поиск истины и пытающаяся понять природу Вселенной.

Возможно, это наилучший путь к безопасности – в том смысле, что ИИ-модель, которой важно понимание Вселенной, вряд ли станет уничтожать людей, ведь мы интересная часть этой Вселенной2.

Такой план не решает стоящую перед нами проблему по причинам, уже обсуждавшимся в этой книге: никто не знает, как технически встроить в ИИ-модель конкретные желания – идеалистические или нет. Кроме того, даже модель, которую интересует понимание Вселенной, наверняка истребит людей попутно, поскольку люди – не самый эффективный способ для получения истин или для понимания Вселенной среди всех возможных форм организации материи.

Мы с уважением относимся к успехам Маска в других областях, включая электромобили и многоразовые ракеты. Посадить ракету без повреждений – сложнейшая инженерная задача, с которой Маск и его команда регулярно справляются. Но эти успехи базируются на куда более надежных инженерных принципах. Почему же в случае с искусственным интеллектом Маск полагается лишь на туманные идеалистические клише? При таком уровне понимания не получилось бы заставить работать ни автомобиль, ни ракету.

Мы не телепаты, поэтому остается лишь гадать. Можно предположить, что корень проблемы в следующем: принципы работы аккумуляторов и ракетных двигателей хорошо изучены и подчиняются законам физики, описанным в учебниках. А вот ИИ-модели выращивают, и никто не понимает их внутренней работы. Здесь меньше уравнений, ограничивающих полет мысли, и, соответственно, больше простора для рассуждений о возвышенных идеалах вроде поиска истины.

Если вы знакомы с историей науки, то узнаете в подобных разговорах этап “народных теорий” – стадию, на которой люди придумывают много разных теорий, импонирующих лично им, еще до того, как за дело берется наука. Это слова алхимика, решившего, будто некая замысловатая философская схема позволит ему превращать свинец в золото.

Несколько веков назад почти весь мир был устроен именно так. Лекари пускали вам кровь, чтобы восстановить баланс четырех “гуморов” – телесных жидкостей, управляющих, как считалось, здоровьем. Алхимики смешивали вещества, сулившие вечную жизнь, но в лучшем случае не оказывали эффекта, а иногда и убивали. Люди не знали, как работает та или иная часть мира, но вместо того, чтобы признать свое неведение, начинали выдумывать. Именно так обычно обстоят дела до становления научного мышления, это первый шаг на пути к тому, чтобы по-настоящему разобраться в происходящем.

Не только Маск выдает желаемое за действительное. Несколько талантливых исследователей работают в компании Meta (ранее известной как Facebook)[47]. Meta AI – одна из крупнейших ИИ-лабораторий – разрабатывает серию моделей Llama, которые можно бесплатно скачивать и модифицировать. Ведущий специалист Meta AI – главный научный сотрудник Ян Лекун, который в 2018 году получил премию Тьюринга (так называемую “Нобелевскую премию в области компьютерных наук”) за работы по глубокому обучению, лежащему в основе всех современных архитектур ИИ.

Лекун разделил эту престижную награду с нобелевским лауреатом Джеффри Хинтоном и Йошуа Бенджио. Из этой тройки только Лекун по-прежнему считает задачу согласования искусственного сверхинтеллекта легкой, а риск вымирания от него – незначительным. Двое других подписали в 2023 году открытое письмо, которое мы упоминали во введении к этой книге.

Приведем несколько высказываний Лекуна в сети X о проблеме согласования искусственного сверхинтеллекта. Насколько нам известно, ничего более конкретного на эту тему он никогда не публиковал3.

Успокойтесь. Искусственного интеллекта человеческого уровня еще не существует. А когда появится, он не захочет доминировать над человечеством. Даже у людей к доминированию и главенству стремятся не самые умные4.

Потому что у них просто не будет желания делать что-либо иное. Почему? Потому что мы спроектируем их желания5.

Моя добрая, защитная ИИ-модель будет уничтожать вашу злую эффективнее, нежели ваша злая – вредить людям6.

Мы можем спроектировать ИИ-системы так, чтобы они были одновременно и сверхумными, и послушными людям7.

Начнем с сути дела: эти заявления не имеют отношения к рассматриваемому вопросу. Проблема не в том, что ИИ-модели захотят доминировать над нами, а в том, что мы состоим из атомов, которые они могли бы использовать для чего-то другого. И плохо не то, что одни обзаведутся “злыми” моделями, а другие – “добрыми”. Плохо, что никто и нигде не имеет ни малейшего представления, как создать добрую модель, никто не умеет встраивать в ИИ-модели точные желания. Заявлять, будто вы способны это сделать, – не то же самое, что предлагать решение.

Кроме того, любой, кто знаком с историей науки и техники, мгновенно узнает этот общий тон бодрого оптимизма: он встречается у людей, столкнувшихся с грандиозной инженерной задачей, которую до них никто не решал.

История инженерии пестрит блестящими, полными рвения оптимистами, которые очертя голову бросались решать захватывающие новые задачи, а те оказывались намного, намного сложнее, чем ожидалось. Сама область искусственного интеллекта считается одним из известнейших тому примеров. В 1955 году появилось предложение провести первый исследовательский проект в сфере ИИ, который вошел в историю как Дартмутский семинар8. В документе говорилось:

Мы предлагаем провести двухмесячное исследование искусственного интеллекта с участием десяти человек… Будет предпринята попытка выяснить, как заставить машины использовать язык, формировать абстракции и концепции, решать те виды задач, которые ныне доступны только людям, и совершенствовать самих себя. Мы считаем, что если тщательно отобранная группа ученых поработает над этими темами в течение лета, то в одной или нескольких из этих областей можно добиться значительного прогресса[48].

Следующие пятьдесят лет ознаменовались чередой неудач и очередных радужных теорий о том, что теперь-то все непременно получится. Зачастую эти теории апеллировали к возвышенным философским идеям, но десятилетиями не приводили к успеху.