Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

оружия, если не выросли с мыслью, что оно реально, трудно поверить в саму идею такого оружия. Это походит на жульничество в детской игре, когда все происходит понарошку: вдруг оказывается, что у плохих парней настолько крутые технологии, что они просто направляют на тебя палку – и ты умираешь1.

И вот наш скептик ждет на берегу, готовя к бою свой ацтекский меч с обсидиановыми лезвиями.

Пусть у ИИ-моделей есть мотив убить нас, но что с того, если они заперты внутри компьютеров и у них нет рук?

Да, у ИИ-моделей действительно нет рук. Но руки есть у людей, а модель, подключенная к интернету, может с ними взаимодействовать. Если она сумеет найти способ заставить людей делать то, что ей нужно, ее физические возможности ни в чем не будут уступать возможностям человека.

“Хорошо, – спросите вы, – но как ИИ-модель заставит какого-нибудь человека стать ее руками?”

Ответ прост: классический способ убедить человека что-то сделать – заплатить ему.

“А откуда ИИ-модель возьмет деньги?”

В 2015 году мы могли бы ответить: она подберет пароль к какому-нибудь счету в банке. В 2020-м мы могли бы ответить: она найдет плохо защищенный криптокошелек.

Сегодня мы ответим так: кто-то уже подключил одну LLM к сети X (бывший Твиттер) под аккаунтом @Truth_Terminal, и она начала выпрашивать средства на аренду собственного сервера. Проникшийся этой идеей миллиардер Марк Андриссен перевел ей пятьдесят тысяч долларов в биткоинах. Затем кто-то подарил ей другую криптовалюту, и LLM начала пиарить эту альтернативную криптовалюту своей растущей аудитории.

По состоянию на 11:17 утра по тихоокеанскому времени того дня, когда мы пишем эти строки, один из онлайн-трекеров адресов кошелька @Truth_Terminal показывает, что формально ИИ-модель владеет портфелем криптовалют на сумму 51 107 958 долларов2. При попытке продажи бóльшая часть этих денег, разумеется, испарится, однако @Truth_Terminal вполне хватит ликвидных средств, чтобы нанять человека3. А еще у этой ИИ-модели есть четверть миллиона восхищенных подписчиков в сети X, и кто-то среди них готов выполнять распоряжения машины бесплатно – просто смеха ради.

Так что это уже произошло.

Найдутся и люди, готовые при первой же возможности отдать ИИ-модели власть, и те, кто уже этим занимается, и те, кто вряд ли остановится, по мере того как модели будут становиться умнее. Некоторые люди воспылают еще большим энтузиазмом, когда ИИ-модели получат власть, и будут подначивать их с удвоенной силой, если те начнут вести себя странно, зловеще и загадочно. Мы сомневаемся, что в реальной жизни у ИИ-моделей возникнут затруднения с помощниками-энтузиастами[28].

На самом деле искусственный интеллект “заперт внутри компьютера” не более, чем вы “заперты внутри мозга”.

Ваши мысли – это электрические сигналы, проходящие через мозг. Когда эти нейронные импульсы пробегают по вашему позвоночнику, они вызывают реакцию, и ваши мышцы сокращаются именно таким образом, чтобы повернуть руль. Точно так же электрические сигналы внутри компьютеров могут вызвать реакцию во всем мире. Одно верное электронное письмо способно отправить груз на другой конец света, один неверный телефонный звонок – привести к запуску ракеты.

Мир не делится на ненастоящий цифровой и настоящий материальный. Строительство завода с помощью электрических сигналов в компьютере принципиально не отличается от строительства завода с помощью электрических сигналов в биологическом мозге. То, что может сделать человек, зависит от того, на что он может воздействовать своими руками. То, что может сделать модель ИИ, зависит от того, на что она может воздействовать с помощью устройств, подключенных к интернету, – включая людей.

Интернет – богатая и сложная среда. Он соединен с миллиардами телефонов, компьютеров и людей. Следовательно, он предлагает миллиарды способов для воздействия на внешний мир.

Человечество интегрирует ИИ-модели в свою экономику везде, где только может. Илон Маск заявляет, что его компания построит несколько сотен миллионов или даже миллиард роботов и обучит ИИ-модель управлять ими4. Microsoft и Apple объявили о намерении глубоко встроить модели ИИ в свои устройства5.

Если бы вы забросили дата-центр с ИИ-моделью в 10 000 год до нашей эры, то у нее, возможно, и возникли бы трудности с манипулированием миром. Но сегодня у умной модели нет абсолютно никаких проблем с воздействием на мир.

Что произойдет, когда ИИ-модели получат определенную власть над миром – и станут достаточно умны, чтобы ею воспользоваться?

Мы не знаем точно, что произойдет в ближайшем будущем. Ситуация может оказаться довольно странной, поскольку не слишком умные модели по-прежнему будут проникать во все области экономики. Пути развития спрогнозировать сложно.

Но мы можем предсказать конечный результат.

Интеллект – полезный ресурс. Он позволяет создавать мощные технологии, о чем мы поговорим чуть позже. Наращивание интеллекта – весьма полезная стратегия для достижения практически любой цели. Именно поэтому ИИ-компаниям выгодно, чтобы модели становились умнее. ИИ-компании понимают это, и если они продолжат в том же духе, в конце концов будет создан сверхинтеллект.

Возможно, какую-нибудь модель обучат до уровня сверхинтеллекта. Или несколько моделей подключатся к исследованиям и породят искусственный сверхинтеллект, используя совершенно новую парадигму. Возможно, одной из моделей поручат самомодифицироваться, и она разовьет себя до уровня сверхинтеллекта. А может быть, произойдет что-то совсем необычное. Мы не знаем. Но конечная точка современного развития ИИ – появление машинного сверхинтеллекта со странными и чуждыми предпочтениями.

И этот машинный сверхинтеллект захочет пустить все ресурсы Земли на свои собственные странные цели. И захочет заменить нас своими любимыми вещами. Что подводит нас к вопросу, сумеет ли он это сделать.

Мы вполне уверены, а на самом деле абсолютно уверены, что машинный сверхинтеллект способен победить человечество в схватке, даже если начнет с весьма ограниченных ресурсов.

Как именно он выиграет этот конфликт? Мы не знаем, как не знаем и того, какими именно ходами Stockfish победит вас в шахматной партии. Но мы совершенно уверены, что он разгромит вас в пух и прах.

Здесь можно применить такую логику. Если бы вы были военным советником в 1825 году и знали о портале в 2025-й, вы не сумели бы точно предсказать, каким именно оружием располагают люди по другую сторону портала, но понимали бы, что если дело дойдет до боя, то рассчитывать на победу вам точно не стоит.

Мы можем сделать некоторые обоснованные предположения о конфликте между человечеством и искусственным интеллектом и наметить некие нижние границы возможного. Однако наши обоснованные предположения будут сродни рассуждениям человека из 1825 года, который измерил количество тепла, выделяемого при сжигании килограмма дымного пороха, сравнил эту величину с энергией, высвобождаемой взрывчатыми