Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Стоящий рядом скептик, надо полагать, отнесся бы к этому предположению с откровенным презрением и негодованием. Он мог бы заявить, что этот мысленный эксперимент превратился в чистую фантастику.

Если вы никогда не видели огнестрельного оружия и не росли с мыслью, что ружья существуют на самом деле, саму идею такого оружия принять было бы крайне трудно. Это казалось бы жульничеством в детской игре «понарошку» — будто кому-то позволили выдумать, что у плохих парней есть настолько невероятные технологии, что им достаточно направить на тебя палку, чтобы ты умер.

И вот наш скептик ждет на берегу, готовя к бою свой меч с обсидиановыми лезвиями.

КАКАЯ РАЗНИЦА, ЕСТЬ ЛИ У ИИ МОТИВ УБИТЬ НАС, ЕСЛИ они заперты внутри компьютеров и у них нет рук?

Действительно, у ИИ нет рук. Но руки есть у людей, а подключенный к интернету ИИ может взаимодействовать с людьми. Если ИИ найдет способ заставить людей выполнять нужные ему задачи, его физические возможности сравняются с человеческими.

«Ладно, — спросите вы, — но как ИИ вообще может заставить человека стать его руками?»

Если выбирать самый простой ответ: платить людям — это классический способ убедить их что-то сделать.

«Откуда у ИИ возьмутся деньги?»

В 2015 году мы могли бы ответить: ИИ может угадать чей-то банковский пароль. В 2020 году мы могли бы ответить: он может найти плохо защищенный криптовалютный кошелек.

Сегодня мы можем ответить так: кто-то уже подключил большую языковую модель к соцсети X (бывшему Твиттеру) под аккаунтом @Truth_Terminal, и она начала просить финансовой независимости, чтобы арендовать собственный сервер. Миллиардеру Марку Андриссену эта идея так понравилась, что он выделил ей 50 000 долларов в биткоинах. После этого кто-то пожертвовал альтернативную криптовалюту, и ИИ принялся активно рекламировать этот альткоин своей растущей аудитории.

Ровно в 11:17 утра по тихоокеанскому времени в день, когда мы пишем эти строки, один из онлайн-трекеров адресов кошельков @Truth_Terminal показывает, что на бумаге ИИ владеет криптопортфелем стоимостью 51 107 958 долларов. Большая часть этих денег испарилась бы, начни ИИ распродажу, но далеко не все, и у @Truth_Terminal определенно достаточно ликвидных средств, чтобы нанять людей в качестве «рук». А еще у него 250 000 восхищенных подписчиков в X, некоторые из которых готовы выполнять поручения ИИ бесплатно — просто ради забавы.

Так что это уже произошло.

В мире полно людей, которые предоставят ИИ власть при первой же возможности; они уже делают это и вряд ли остановятся, когда ИИ станет умнее. Некоторые из них будут испытывать еще больший восторг по мере обретения ИИ силы и станут подзадоривать его вдвое активнее, если он начнет вести себя странно, зловеще и таинственно. Мы сомневаемся, что в реальной жизни ИИ будет трудно найти восторженных помощников.

На самом деле ИИ в любом случае не «заперт внутри компьютера» — точно так же, как вы не «заперты внутри мозга».

Ваши мысли состоят из электрических сигналов, проходящих через мозг. Когда эти нейронные импульсы спускаются по позвоночнику, они вызывают цепную реакцию, которая может привести к сокращению мышц ровно так, как нужно для поворота руля. Точно так же электрические сигналы внутри компьютеров могут вызывать цепную реакцию в окружающем мире. Верно составленное электронное письмо может запустить доставку груза на другой конец света, а ошибочный телефонный звонок — привести к запуску ракеты.

Мир не делится на иллюзорное Цифровое Пространство и реальный Материальный Мир. Строительство завода посредством цепной реакции электрических сигналов в компьютере принципиально ничем не отличается от строительства завода посредством цепной реакции электрических сигналов в биологическом мозге. Возможности человека зависят от того, на что он может воздействовать своими руками. Возможности ИИ зависят от того, на что ИИ может воздействовать с помощью подключенных к интернету устройств — таких, например, как люди.

Интернет — это богатая и сложная среда. К нему подключены миллиарды телефонов, компьютеров и людей. И потому он предоставляет миллиарды возможностей влиять на внешний мир.

Человечество внедряет ИИ в свою экономику при любой удобной возможности. Илон Маск заявляет, что его робототехническая компания построит несколько сотен миллионов или даже миллиард роботов и обучит ИИ управлять ими. Microsoft и Apple объявили о намерении глубоко интегрировать ИИ в свои устройства.

Если бы вы забросили дата-центр с ИИ в десятитысячный год до нашей эры, ему, возможно, было бы трудно манипулировать миром. Но в сегодняшнем мире у умных ИИ не возникнет вообще никаких трудностей с тем, чтобы воздействовать на мир.

Что же произойдет тогда, когда ИИ обретет некоторую власть над миром — и когда он станет достаточно умен, чтобы ею воспользоваться?

Мы не знаем наверняка, что произойдет в ближайшей перспективе. События могут принять странный оборот по мере того, как еще не слишком умные ИИ будут распространяться в экономике. Пути развития трудно предсказать.

Но мы можем предсказать конечную точку.

Интеллект полезен. Он позволяет создавать мощные технологии, о чем мы вскоре поговорим. Повышение уровня интеллекта — крайне полезная стратегия для достижения практически любой цели. В общих чертах, именно поэтому компаниям-разработчикам выгодно иметь всё более умные ИИ. Они это знают, и если продолжат двигаться в том же направлении, в конечном итоге будет создан сверхразумный ИИ.

Возможно, какой-то ИИ обучат до уровня сверхразума. Возможно, множество ИИ начнут вносить свой вклад в исследования искусственного интеллекта и создадут сверхразумный ИИ на базе совершенно новой парадигмы. Возможно, одному ИИ поручат задачу самомодификации, и он разовьет свой разум до сверхразумного уровня. Или же случится нечто еще более странное; мы не знаем. Но конечная точка современного развития ИИ — это создание машинного сверхразума со странными и чуждыми нам предпочтениями.

И тогда возникнет машинный сверхразум, который захочет перенаправить все ресурсы Земли на свои собственные странные цели. И он захочет заменить нас своими любимыми вещами. Что подводит нас к вопросу: а сможет ли он?

Мы практически уверены — на самом деле очень очень уверены, — что машинный сверхразум победит человечество в противостоянии, даже если на старте его ресурсы будут довольно ограниченными.

Как именно он победит в этом конфликте? Мы этого не знаем — точно так же, как не знаем, какими именно ходами Stockfish обыграет вас в шахматы. Но мы всё