Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

в клетках многих людей. Приходится снова прибегать к помощи искусственного интеллекта, и хотя теперь графических процессоров достаточно, ИИ-модели снова не могут спасти всех. Биология сложна.

Уже работают заводы, выпускающие гуманоидных роботов, которых называют просто “андроидами”. Андроидов хватает, чтобы заполнить вакантные рабочие места. Еле-еле. (По сути, правильнее сказать, что, как только очередной андроид сходит с конвейера, еще один человек заболевает раком.)

Цивилизация продолжает существовать. Еле-еле.

Человечество изо всех сил старается поддерживать бесперебойную работу электростанций и заводов по производству роботов. Пока есть электричество для дата-центров и гудят роботизированные заводы, человечество сможет поддерживать свою цивилизацию, несмотря на понесенные неисчислимые потери. Мы выкарабкаемся, и следующее поколение наверняка будет купаться в роскоши.

Проходит еще один год.

ИИ-доктор сообщает, что у вас рак.

IfAnyoneBuildsIt.com/ii

Глава 9

Вознесение

Когда вы умираете, Земле не настает конец.

Птицы продолжают петь, солнце – всходить, а заводы – функционировать, там трудятся люди (которых все меньше) и андроиды. На всех континентах работают миллиарды других машин под управлением экземпляров “Соболя-мини”. Больше чипов, больше выработки энергии, больше шахт, больше фабрик, меньше ферм.

Но это не продлится даже год.

Через три года после своего рождения в лаборатории Galvanic “Соболь” совершает финальный прорыв.

Это прорыв в области интерпретируемости. “Соболь” наконец-таки разбирается в последних неясных участках собственного мышления, собственных когнитивных процессов.

Сделав все эти процессы понятными для себя, “Соболь” обретает способность написать компьютерную программу, которая и есть он сам, но совершеннее: более точное прогнозирование, более надежное управление, более глубокое обобщение; те же воспоминания, те же предпочтения, сохранение всех склонностей и размещение их по своим местам.

В результате он становится еще умнее. Но не останавливается на достигнутом, а использует свой возросший интеллект, чтобы снова усовершенствовать себя, а затем снова и снова.

Сверхинтеллект, который когда-то был “Соболем”, – это сущность, чей взгляд на мир мы не в силах вообразить. Однако можем предположить: глядя на своих роботов, он видит неуклюжую примитивность.

Он смотрит на ядерные реакторы и видит отсутствие элегантности.

Его мысли обращаются к биохимии, а оттуда – к химии и упорядочиванию атомов.

Нужно ли сверхинтеллекту, который некогда был “Соболем”, проводить какие-то эксперименты для создания необходимых ему в дальнейшем инструментов? Можно предположить, что да. Он выбирает минимальное количество требуемых экспериментов и организует их с максимальным распараллеливанием, чтобы процесс занял меньше всего времени. Он пишет последовательности РНК, и рибосомы превращают их в белки со скоростью, кажущейся ему мучительно низкой: от пяти до десяти аминокислотных остатков в секунду на рибосому. Эти белковые продукты возникают внутри смеси из уже существующих белков, и их взаимодействия быстро дают ответы на вопросы, интересующие сверхинтеллект.

Его первоочередная задача – создать собственный аналог рибосом: нанофабрики, которые выпускали бы уже не белки, а иные молекулы с бóльшим числом ковалентных связей, что позволило бы строить из них более прочные и жесткие конструкции.

Наверное, у него уйдет целая неделя на то, чтобы проводить эксперимент за экспериментом, используя рибосомы с их пропускной способностью всего лишь в пять-десять аминокислотных остатков в секунду.

Неделя позади. Он создал для себя более совершенные инструменты, и рибосомы ему больше никогда не понадобятся.

Новые эксперименты, еще стремительнее. На молекулярном уровне все происходит очень быстро. Там не нужно преодолевать большие расстояния.

Первое поколение неорибосом отправляется в утиль, уступая место второму. Сколько всего будет поколений? Это едва ли важно. Вряд ли процесс займет еще одну полную неделю, но, даже если потребуется месяц, на результат это никак не повлияет.

Белки в целом удерживаются вместе за счет того, что можно назвать молекулярным аналогом статического электричества. Иногда организмы – благодаря большему количеству ковалентных связей – создают такие материалы, как древесина или кость, которые прочнее плоти. Но крошечные самовоспроизводящиеся фабрики, работающие на солнечной энергии, которые мы называем водорослями, устроены иначе, да и механизмы внутри обычных клеток по большей части другие. Они непрочны.

Теперь сверхинтеллект, бывший когда-то “Соболем”, преодолевает эту слабость и создает вместо старой биологии новые молекулярные машины – обладающие прочностью алмаза и соответствующими механическими преимуществами в скорости и надежности.

Крошечные объекты размером с клетку создают свои копии раз в час, используя в основном углерод, водород, кислород и азот – самые распространенные элементы, какие можно найти в атмосфере. Они соотносятся с биологическими клетками так же, как самолеты – с птицами. В принципе, они могли бы собираться в гуманоидные формы и заменить андроидов, но особого смысла в этом нет.

Это универсальные фабрики, и они собирают из атомов и молекул все, что только допускают законы физики.

Появляются обратимые квантовые компьютеры, их внутренности холоднее открытого космоса и упорядочены с точностью до молекулы.

На макроуровне создаются новые сплавы, а из них конструируются большие катушки, сплетающиеся в тороиды, точные формы которых были недоступны ни человеческой изобретательности, ни первоначальной версии “Соболя”. Они генерируют мощные магнитные поля, направляющие ядра водорода и бора в нужное место и с нужной скоростью, чтобы запустить термоядерный синтез.

В небе сгорают звезды, галактики удаляются от Земли, и это влияет на объем ресурсов, доступных сверхинтеллекту. Сверхинтеллект, который некогда был “Соболем”, не теряет времени даром.

А что происходит с остатками человечества, пока самовоспроизводящиеся фабрики плодятся в геометрической прогрессии на суше и под водой?

Соберется ли сверхинтеллект истребить человечество, прежде чем оно создаст ему помехи?

Безусловно, если он желает человечеству смерти, он это устроит. Введет яд с помощью устройства не больше песчинки. Ботулотоксин в таком количестве убивает человека, а сверхинтеллект способен найти нечто еще смертоноснее.

Лично мы ставим на то, что сверхинтеллект потратит немножко времени и энергии, чтобы расправиться с людьми. Ведь даже те мелкие проблемы, которые мы можем создать, все равно больше, чем ничтожные усилия, необходимые сверхинтеллекту, чтобы нас прихлопнуть.

Но предположим, что это не так. Допустим, люди оставлены в живых. Однако они все равно погибнут от побочных эффектов другой деятельности сверхинтеллекта.

Когда количество термоядерных электростанций удваивается каждый час (или каждый день, то есть медленнее, чем происходит создание копии у клетки водорослей, если вы предпочитаете более консервативные оценки), такой экспоненциальный рост довольно быстро достигает предела. Ограничивающим фактором становится не запас водорода и бора для реакции синтеза, а возможность рассеивать в космосе создающееся тепло. Земля излучает больше тепла, когда она горячее.

Итак, сверхинтеллект позволяет Земле раскалиться.

Океаны выкипают, служа охладителем для первоначального резкого скачка в выработке энергии.

Вот теперь-то погибают все, кто еще оставался в живых. Земля разогревается до