Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

По той же логике, будь вы военным советником в 1825 году и знай вы о грядущем открытии временного портала в 2025 год, вы бы не смогли в точности предсказать, какое оружие окажется у людей по ту сторону. Но если дело дойдет до схватки, надеяться на победу вам всё равно не стоит.

Мы можем сделать несколько обоснованных предположений о конфликте человека и ИИ и установить некую нижнюю планку возможного. Но наши предположения будут сродни тому, как если бы кто-то в 1825 году измерил общее количество тепла от сгорания килограмма черного пороха, сравнил его с общей энергией, выделяемой взрывчатыми веществами того времени, и предположил, что в будущем появится взрывчатка, скажем, в десять раз мощнее. Что в каком-то смысле верно. Но фраза «взрывчатка может стать как минимум в десять раз мощнее» бесконечно далека от предсказания ядерного оружия.

Позже мы разберем некоторые из наших обоснованных предположений. Но настоящий способ, которым сверхразум побеждает в конфликте, заключается в использовании методов, о самой возможности которых вы даже не подозревали. И поскольку истина для нас важнее, чем стремление говорить вам то, что легко принять, мы начнем именно с этого.

Представьте, что вы отправили схему холодильника на тысячу лет назад в прошлое — упрощенную схему, по которой тогдашние кузнецы действительно смогли бы его собрать.

Главный физический закон, на котором основана работа холодильника, заключается в том, что при сжатии газ нагревается, а при расширении, наоборот, охлаждается. (Именно поэтому, если купить баллончик со сжатым воздухом для продувки компьютера, выходящий воздух будет холодным, а если дуть слишком долго, сам баллончик станет обжигающе холодным на ощупь). В современных холодильниках используются специальные хладагенты, но обычный воздух тоже подойдет.

Если вы сможете придумать доступные для кузнеца способы герметизации и сжатия газа, а также его последующего расширения, вы сможете спроектировать холодильник, который под силу построить в древности. Вам нужно лишь охладить воздух после сжатия — например, пропуская чуть теплую воду мимо газа, чтобы отвести избыточное тепло выше комнатной температуры. Когда газу позволят снова расшириться, он окажется холоднее охлаждающей воды — холоднее, чем до того, как вы его сжали.

Если бы вы не приложили объяснения, почему этот холодильник работает — и уж тем более если бы вы вообще не объяснили, что это загадочное устройство делает, — сам кузнец, собравший его, немало удивился бы, обнаружив, что прибор вырабатывает холодный воздух. В те времена люди не знали о связи между температурой и давлением.

Мы знаем законы реальности, которых не знали кузнецы тысячу лет назад, и поэтому можем составлять чертежи устройств, способных на вещи, о которых те никогда бы не догадались — даже подробно изучив чертежи, даже собрав устройство собственными руками. Вот каково это — столкнуться с чем-то, что знает о реальности куда больше, чем вы и вся ваша цивилизация.

Чем сложнее игровое поле, тем больше преимущество игрока, который обладает большими знаниями, более высоким интеллектом и более глубоким пониманием игры.

На поле три на три для крестиков-ноликов человек может полностью изучить все дерево возможностей, и тогда никаких сюрпризов не останется.

В шахматах и го правила известны полностью, а доска полностью обозрима, но деревья возможностей там гораздо сложнее. Превосходящий соперник может делать ходы, повергающие вас в шок, — но в итоге вы хотя бы поймете, почему по правилам игры вы проиграли.

Когда игровое поле становится менее обозримым, реальность порой просто ставит вас перед фактом поражения, и вы не понимаете почему. Вас увольняют, руководство утверждает, что для этого не было особых причин, и вы почти уверены, что они лгут, но не знаете, что происходило за кулисами на самом деле. Но даже это — событие того рода, о возможности которого вы, в принципе, знали заранее.

Когда же мы начинаем хуже понимать само игровое поле — когда мы не просто не видим скрытых причин вашего увольнения, а не понимаем лежащих в основе правил, — мы оказываемся ошеломлены развитием событий, о допустимости которого мы даже не подозревали. У воинов на большом корабле есть палки: они направляют их на тебя, и ты умираешь.

Чем меньше вы что-то понимаете и чем хуже знаете управляющие этим правила, тем больше у умного противника возможностей атаковать вас так, что вы только и успеете спросить: «Как такое вообще разрешено?» — если, конечно, проживете достаточно долго, чтобы выразить свое потрясение.

Теперь вернемся к главному вопросу: как ИИ победит человечество? С какой стороны он зайдет?

Современные люди знают о физике больше, чем кузнец тысячу лет назад. Конечно, в физике высоких энергий нам еще многое неясно, но вполне допустимо, что никаких великих физических супероружий ИИ не сможет создать, имея лишь подписчиков в соцсетях и наемные руки.

Однако остается еще множество областей, где даже самые умные и образованные люди блуждают впотьмах. Например, биология. Дело не в том, что физики не понимают физических законов, управляющих органической материей; дело в том, что, подобно разыгрываемой шахматной партии с известными правилами, они не способны предвидеть последствия. Людям в основном остается лишь тыкать в биологию наугад и смотреть, что получится.

Чем хуже понята та или иная часть реальности, тем больше оснований ожидать, что более развитый разум сможет творить там вещи, которые вы не поймете, даже увидев их своими глазами.

Еще большей загадкой для современной науки, чем вся остальная биология, остается полноценная работа человеческого разума и мозга.

Сегодня можно сконструировать такие оптические иллюзии, которые невозможно было бы даже придумать пятьдесят лет назад. Эти новые иллюзии разрабатываются на основе относительно недавних исследований человеческого зрительного восприятия и того, что именно происходит в зрительной коре человека: как контрастируют цвета, как мозг решает, что происходит движение. Мы можем конструировать эти новые оптические иллюзии, потому что зрительная кора — одна из самых простых для изучения областей мозга, и у нас есть хотя бы некоторое представление о том, как там обрабатываются данные.

Но как кодируются человеческие воспоминания? Мы не знаем. Судя по тому, что повреждение гиппокампа приводит к неспособности формировать новые воспоминания, мы понимаем, что гиппокамп как-то с этим связан, но не знаем, что именно он делает. Как человеческий мозг извлекает понятия, связанные со словами, и объединяет их в смысл предложения? Каковы форматы данных внутри нейронных активаций? Каковы правила их обработки? Мы не знаем.

Могут