Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Поэтому давайте условимся, что людям на больших лодках не разрешено иметь волшебные палки, которые достаточно направить на вас, чтобы вы рухнули замертво. Мы попытаемся изложить сценарий, который не покоробит нашего современника, похожего на того скептически настроенного ацтека. Мы предположим, что машинный сверхинтеллект не обладает сверхчеловеческим пониманием психологии, способностью создавать иллюзии рассуждений или иным образом выходить за рамки наших привычных представлений о возможном. Реальность имеет право быть настолько странной и фантастической, но наш сценарий этого не требует.

Однако имейте в виду, что, вообще говоря, это чистая фантазия считать, будто на человечество можно напасть только на той территории, которую мы понимаем достаточно надежно, чтобы анализировать и предсказывать атаки. Реальный противник нанесет нам удар посильнее – именно в тех областях, где мы понимаем реальность хуже.

Теперь давайте рассмотрим векторы атаки, которые человеческая наука понимает уже довольно хорошо и которыми сверхинтеллект мог бы воспользоваться.

ведущий: Добро пожаловать на шоу “Способен ли на это сверхинтеллект?”, где мы обсуждаем, что точно мог бы сделать сверхинтеллект, если бы был достаточно умен и получил шанс.

Сегодня в студии наши участники – мистер Скептик и мистер Бывалый. И первый вопрос: может ли сверхинтеллект вычислить закрытый ключ, который компьютер использует для шифрования ваших сообщений, если у него есть только видеокамера, направленная на индикатор питания?

скептик: Пф-ф! Очевидно, нет. Как это вообще возможно?

бывалый: Ага, вижу, вы не эксперт по кибербезопасности! Когда компьютер использует закрытый ключ для шифрования данных, на разных этапах этого процесса потребляется немного разное количество электроэнергии, и эти колебания коррелируют с особенностями ключа. Я бы сказал, вероятность, что сверхинтеллект сумеет это сделать для любой отдельно взятой системы, процентов десять.

ведущий: И мистер Скептик… ошибается! Сверхинтеллект определенно может это сделать с помощью камеры тринадцатого айфона.

скептик: Мне казалось, вы заявили, что это шоу будет придерживаться фактов.

ведущий: Мы знаем, что сверхинтеллект мог бы это сделать, поскольку это уже проделали обычные люди, занимающиеся кибербезопасностью! На самом деле они сделали это, чтобы украсть ключ с телефона, подключенного к USB-концентратору, который, в свою очередь, был подключен к компьютерной колонке с индикатором питания![29]6

Следующий вопрос! Достаточно ли физически выдрать антенну и чип Wi-Fi, динамики, жесткие диски (которые можно раскрутить и использовать как источник шума) и микрофоны (которые можно запустить в обратном режиме, чтобы они издавали звук), чтобы помешать сверхинтеллекту внутри этого компьютера связаться с внешним миром?

скептик: Ладно, догадываюсь, что ответ будет отрицательным, поскольку кто-то уже провернул какой-нибудь удивительный трюк с кибербезопасностью.

бывалый: Согласен, ответ отрицательный. В реальной жизни физически возможно добиться очень многого, даже находясь в крайне жестких условиях.

ведущий: Вы оба… правы! Считывая нужные ячейки памяти с нужной частотой, компьютер способен генерировать радиосигналы, которые могут быть уловлены находящимися поблизости мобильными телефонами7.

Следующий вопрос! Оцените минимально возможный размер работающей на солнечной энергии фабрики, которая из сырья, найденного на планете типа Земли, строит свою полную копию? Оцените также минимальное время, необходимое для создания такой копии. Предполагаем, что эту фабрику проектирует сверхинтеллект.

скептик: Надо думать, вы скажете, что уже существуют 3D-принтеры, которые могут напечатать все части новых 3D-принтеров, кроме микросхем, а затем все это собирается с внешней помощью?

ведущий: Никакой внешней помощи, мистер Скептик! Фабрика должна построить свою копию абсолютно самостоятельно!

скептик: В таком случае, если не скатываться в фантастику, мне сложно представить себе полностью самокопирующуюся фабрику, которая из чистого сырья должна построить свою полную копию, включая компьютеры. Ведь для этого потребуется, например, плавить медь, и я допускаю, что печь можно сделать просто из глины, но… Ладно, знаете, я предположу, что подвох связан с каким-то теоретическим проектом самовоспроизводящейся фабрики. Ее размер всего десять метров в поперечнике, она выплавляет железо и медь, делает основные микросхемы, собирает древесину, чтобы сжигать в качестве топлива, и, предположительно, воспроизводит себя примерно за неделю. Но в реальности такое никогда не строили.

бывалый: Ну, я едва ли угадаю наименьший размер, до которого сверхинтеллект мог бы сжать полностью самовоспроизводящуюся фабрику, работающую в реальных условиях планеты. Но это определенно не больше нескольких микрон, а на воспроизведение уйдет не более нескольких часов.

скептик: Несколько микрон! Ха! Надо полагать, вы верите в реальность нанотехнологий? Даже если ведущие нашего шоу заявят, что кто-то разработал теоретический проект такой системы, я скажу, что вовсе не случайно никто никогда не построил даже самой маленькой ее части. В реальной жизни просто невозможно создать такие мелкие механизмы.

ведущий: Простите, мистер Скептик, но боюсь, вы упустили из виду важный практический пример! Травинка – это самовоспроизводящаяся фабрика, которая работает на солнечной энергии и строит свою полную копию! И хотя отдельные клетки водорослей слишком малы, чтобы их увидеть, они работают на солнечной энергии, не зависят от других растений или животных, содержат микроскопические биологические фабрики, известные как рибосомы, имеют размер в несколько микрон, а некоторые виды воспроизводят себя за считаные часы.

Природа задает некоторые нижние границы того, на что способен сверхинтеллект.

Оглянитесь вокруг, и наверняка вы увидите рядом дерево или изделия из него, например деревянную балку или пол.

Вопрос: из какого материала строят себя деревья? Они начинают жизнь крошечными семенами, а затем могут превратиться в громадные массивы древесины и листвы. Откуда они берут все это вещество?

Извлекают из земли? Частично, ведь дерево по массе примерно наполовину состоит из воды, добытой из-под земли. Однако другая половина – это в основном углерод, а в воде углерода нет. Откуда же берется остальная часть дерева?

Почва? Или солнечный свет? Ни то ни другое: почва – это в основном неорганические вещества, а фотоны – даже не вещество. Но откуда тогда?

Деревья в основном берут вещество из воздуха. С помощью солнечного света они отщепляют атомы углерода от молекул углекислого газа (CO2) и формируют из этих атомов кору и ветви.

Физика допускает возможность технологии, использующей солнечный свет, чтобы прясть древесину из воздуха. Способен ли сверхинтеллект изобрести эту технологию? Почти наверняка. Деревья создаются благодаря производству белков за счет пропускания нитей РНК через рибосомы (в подходящей клеточной среде). Лаборатории людей тоже могут пользоваться рибосомами. Поэтому главная трудность в разработке биотехнологий – не столько изготовление инструментов, сколько понимание языка проектирования, то есть ДНК и РНК.

Почему люди до сих пор не могут создавать цепочки ДНК,