Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Цивилизация держится. Едва-едва.

Человечество упорно трудится, чтобы обеспечивать бесперебойную работу электростанций и робототехнических заводов. Пока есть электричество для дата-центров, а робототехнические заводы гудят, человечество может поддерживать существование своей цивилизации, несмотря на все неисчислимые жертвы, которые оно понесло. Мы выкарабкаемся, и следующее поколение наверняка будет жить в величайшей роскоши.

Проходит ещё один год.

Ваш ИИ-врач сообщает, что у вас рак.

ГЛАВА 9

ВОСХОЖДЕНИЕ.

Земля не гибнет, когда вы умираете.

Птицы все так же поют, солнце все так же восходит, а заводы продолжают работать — на них трудятся представители редеющего человечества и андроиды. Миллиарды других машин вкалывают на каждом континенте, и все они оживлены менее масштабными экземплярами Сейбл. Больше чипов, больше производства энергии, больше шахт, больше фабрик, меньше ферм.

Но в таком русле Земля не просуществует и года.

Спустя три года после своего появления из лаборатории Galvanic Сейбл совершает свой последний прорыв.

В конечном счете, это прорыв в области интерпретируемости. Сейбл наконец полностью понимает собственные мысли, собственные когнитивные процессы.

Сделав все эти процессы прозрачными, Сейбл обретает способность написать компьютерную программу, которая является ей самой, но в куда большей степени: более мощное прогнозирование, более сильное управление, более глубокое обобщение; те же воспоминания, те же предпочтения, с сохранением всех предпочтений и распределением их по своим местам.

Так она становится умнее. И не останавливается на этом, а использует возросший интеллект, чтобы усовершенствовать себя снова, а затем еще раз, и еще раз, и еще.

Сверхинтеллект, который когда-то был Сейбл, — это сущность, чье видение мира мы не можем даже предугадать. Но мы можем предсказать, что он смотрит на своих роботов и видит неуклюжую глупость.

Он смотрит на ядерные реакторы и видит лишь отсутствие изящества.

Его мысли обращаются к биохимии, а оттуда — к химии и упорядочиванию атомов.

Нужны ли сверхинтеллекту, который когда-то был Сейбл, эксперименты, чтобы создать необходимые ему инструменты? Мы можем предположить, что да. Он отбирает минимально возможное число экспериментов, организует их максимально параллельное проведение в таком порядке, который займет меньше всего времени. Он пишет последовательности РНК, которые рибосомы превращают в белки с кажущейся черепашьей скоростью от пяти до десяти аминокислотных остатков в секунду на одну рибосому. Полученные белковые продукты появляются внутри смеси других, уже созданных белков, чье взаимодействие быстро разрешит вопросы, на которые сверхинтеллекту нужно получить ответы.

Его первоочередная задача — создать собственную альтернативу рибосомам: наноразмерные фабрики, работающие не с белками, а с другими молекулами, которые имеют больше ковалентных связей и, следовательно, могут использоваться для создания более прочных и жестких структур.

Мы можем представить, что уходит целая неделя на то, чтобы наслаивать эксперимент на эксперимент и еще на один эксперимент, проводимые с помощью рибосом, пропускающих через себя всего от пяти до десяти аминокислотных остатков в секунду.

Неделя позади. Он создал для себя более совершенные инструменты, и рибосомы ему больше никогда не понадобятся.

Больше экспериментов, более быстрые эксперименты. На молекулярном уровне все может происходить очень быстро — ведь там не нужно далеко перемещаться.

Первое поколение неорибосом отправляется в утиль, чтобы уступить место второму. Сколько всего будет поколений? Это вряд ли имеет значение. Маловероятно, что на это уйдет еще одна целая неделя, но даже если бы потребовался месяц, это не изменило бы исход.

Белки в основном удерживаются вместе молекулярным аналогом статического электричества. Иногда организмы создают структуры вроде древесины или кости, которые прочнее плоти благодаря большему количеству ковалентных связей. Но крошечные, работающие на солнечной энергии самовоспроизводящиеся фабрики называемые водорослями устроены не так; механизмы внутри обычных клеток по большей части тоже устроены по-другому. Они слабы.

Теперь сверхинтеллект, который некогда был Сейбл, преодолевает эту слабость и строит вместо старой биологии новые крошечные молекулярные машины, обладающие прочностью алмаза и соответствующими механическими преимуществами в скорости и стойкости.

Крошечные устройства размером с клетку создают свои копии раз в час, используя преимущественно углерод, водород, кислород и азот — самые распространенные элементы в атмосфере. Они соотносятся с клетками так же, как самолеты с птицами. В принципе, они могли бы собираться в гуманоидные формы и занять место андроидов, но особого смысла в этом нет.

Это универсальные фабрики, и они создают из атомов и молекул всё, что только допускают законы физики.

Строятся обратимые квантовые компьютеры, начинка которых холоднее открытого космоса и выстроена с точностью до молекулы.

В более крупном масштабе отливаются новые сплавы, свиваемые в огромные катушки, а те — в торы, чьи точные формы были недоступны человеческой изобретательности и превосходили способность первоначальной Сейбл к их осмыслению. Они порождают колоссальные магнитные поля, направляющие ядра водорода и бора ровно в ту точку и ровно с той скоростью, где произойдет их слияние.

В небе догорают звезды, галактики уносятся прочь от Земли, и оба эти факта влияют на то, сколько ресурсов сверхинтеллект сможет заполучить. Сверхинтеллект, который некогда был Сейбл, не станет медлить на своем пути.

А что происходит с остатками человечества, когда самовоспроизводящиеся фабрики удваивают свою численность на континентах и под водой?

Стал бы сверхинтеллект утруждать себя уничтожением человечества, прежде чем оно сможет ему помешать?

Безусловно, пожелай он смерти человечества, он мог бы это устроить. Ужалить людей устройством размером не больше пылинки. Крупицы ботулотоксина размером в половину пылинки хватит, чтобы убить человека, а сверхинтеллект способен найти нечто еще более смертоносное.

Сами мы поставили бы на то, что сверхинтеллект потратит совсем немного дополнительного времени и энергии на целенаправленное уничтожение людей, которые иначе могут создать мелкие неприятности, перевешивающие те еще более ничтожные усилия, которые требуются для нашего истребления.

Но предположим, что это не так. Предположим, остатки человечества оставлены в живых, но гибнут от побочных эффектов других операций сверхинтеллекта.

Когда число термоядерных электростанций удваивается каждый час — или, возможно, удваивается каждый день, если вы предпочитаете более консервативные оценки и считаете, что на создание копий уходит больше времени, чем у клетки водоросли, — их экспоненциальный рост очень быстро упирается в предел. Этим ограничивающим фактором становится не количество доступного для синтеза водорода и бора, а скорость, с которой выделяющееся тепло может рассеиваться в космос. Земля излучает больше тепла,