Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

*

150. Скрытая сложность желаний.

Желаю жить в местах по моему выбору, в физически здоровой, неповрежденной и внешне нормальной версии моего нынешнего тела, сохраняющей мое текущее ментальное состояние; тела, которое будет исцеляться от любых повреждений со скоростью на три сигмы выше средней с учетом доступных мне медицинских технологий, и которое будет защищено от любых болезней, травм или недугов, вызывающих инвалидность, боль или ухудшение работы любых органов чувств, органов или телесных функций на срок более десяти дней подряд или пятнадцати дней в течение любого года...

—Проект «Открытый код желаний», Желание бессмертия 1.1

Существует три типа джиннов: джинны, которым можно безопасно сказать: «Я желаю, чтобы ты сделал то, что мне следовало бы пожелать»; джинны, для которых ни одно желание не безопасно; и джинны, которые не обладают большой силой или умом.

Представьте, что ваша пожилая мать оказалась в ловушке в горящем здании, а вы, так уж вышло, прикованы к инвалидному креслу и не можете броситься туда сами. Вы могли бы закричать: «Вытащите мою маму из этого здания!», но вас некому услышать.

К счастью, у вас в кармане лежит Насос исходов. Это удобное устройство сжимает поток времени, переливая вероятность в одни исходы и откачивая ее из других.

Насос исходов не обладает разумом. Внутри него находится крошечная машина времени, которая сбрасывает время назад, если только не наступает заданный исход. Например, если бы вы подключили датчики Насоса исходов к монетке и задали условие, что машина времени должна совершать сброс до тех пор, пока монетка не выпадет орлом, а затем подбросили ее, вы увидели бы, как выпал орел. (Физики говорят, что любое будущее, в котором происходит «сброс», противоречиво и поэтому вообще изначально не случается — так что на самом деле вы не убиваете никакие версии самого себя.)

Какое бы утверждение вы ни ухитрились ввести в Насос исходов, оно каким-то образом происходит, хотя и без нарушения законов физики. Если попытаться ввести утверждение, вероятность которого слишком мала, машина времени испытает внезапную механическую поломку еще до того, как этот исход вообще произойдет.

Перенаправлять потоки вероятностей можно и более количественным образом — с помощью «функции будущего», масштабирующей вероятность временного сброса для различных исходов. Если вероятность временного сброса составляет 99%, когда монета выпадает орлом, и 1%, когда выпадает решка, шансы изменятся с 1:1 на 99:1 в пользу решки. Если бы у вас была загадочная машина, выдающая деньги, и вы хотели бы максимизировать сумму выдачи, вы бы использовали вероятности сброса, которые уменьшаются по мере увеличения суммы денег. Например, выдача 10 долларов могла бы иметь вероятность сброса 99,999999%, а выдача 100 долларов — 99,99999%. Таким образом, вы можете получить исход, значение которого стремится к максимуму в функции будущего, даже если не знаете наилучшего достижимого максимума.

И вот вы в отчаянии выхватываете Насос исходов из кармана — ваша мать все еще заперта в горящем здании, помните? — и пытаетесь описать свою цель: вытащить мать из здания!

Пользовательский интерфейс не принимает ввод на естественном языке. Насос исходов ведь не разумен, помните? Зато у него есть 3D-сканеры ближайшего окружения и встроенные утилиты для сопоставления образов. Так что вы подносите к сканеру фотографию лица и плеч вашей матери, сопоставляете изображение, используете непрерывность объекта, чтобы выделить все тело матери целиком (а не только ее голову и плечи), и задаете функцию будущего через расстояние от матери до центра здания. Чем дальше она от центра здания, тем меньше вероятность сброса машины времени.

«Вытащи мою мать из здания!» — кричите вы на удачу и нажимаете Enter.

На миг кажется, что ничего не происходит. Вы оглядываетесь по сторонам в ожидании пожарной машины или спасателей — или хотя бы просто какого-нибудь сильного и быстрого прохожего, который вынесет вашу мать из здания...

БУМ! С громоподобным ревом взрывается газовая магистраль под зданием. Конструкция рушится словно при замедленной съемке, и вы успеваете заметить, как изувеченное тело вашей матери взмывает высоко в воздух и на огромной скорости уносится все дальше от прежнего центра здания.

На корпусе Насоса исходов есть Кнопка сожаления для чрезвычайных ситуаций. Во всех функциях будущего нажатию этой кнопки автоматически присваивается огромное отрицательное значение — вероятность временного сброса становится близкой к 1. Таким образом, крайне маловероятно, что Насос исходов сделает нечто, способное расстроить пользователя настолько, чтобы тот нажал Кнопку сожаления. Вы не помните, чтобы хоть раз нажимали ее. Но не успели вы даже потянуться к Кнопке сожаления (да и какой в ней толк теперь?), как с неба падает пылающая деревянная балка и расплющивает вас.

Что было не совсем тем, чего вы хотели, но оценивается очень высоко в заданной функции будущего...

Насос исходов — это джинн второго класса. Ни одно желание не безопасно.

Если бы кто-то попросил вас спасти его бедную пожилую мать из горящего здания, вы могли бы помочь или притвориться, что не слышите. Но вам бы даже в голову не пришло взорвать здание. Просьба «вытащить мать из здания» звучит как гораздо более безопасное желание, чем на самом деле, потому что вы даже не рассматриваете планы, которым сами присваиваете крайние отрицательные значения.

Вспомните еще раз Трагедию группового селекционизма: некоторые ранние биологи утверждали, что групповой отбор на малую численность субпопуляции приведет к индивидуальной сдержанности в размножении; однако реальное применение группового отбора в лаборатории привело к каннибализму, особенно в отношении неполовозрелых самок. Задним числом очевидно, что при сильном отборе на малую численность субпопуляций каннибалы будут размножаться успешнее тех особей, кто добровольно отказывается от продолжения рода. Но поедание маленьких девочек — настолько неэстетичное решение, что Уинн-Эдвардс, Элли, Бреретон и другие сторонники группового отбора о нем попросту не подумали. Они видели лишь те решения, которые приняли бы сами.

Предположим, вы попытаетесь исправить функцию будущего, указав, что Насос исходов не должен взрывать здание: исходы, при которых материалы здания распределяются по слишком большому объёму, будут иметь вероятность временного сброса ~1.

В итоге ваша мать выпадает из окна второго этажа и ломает себе шею. Насос исходов выбрал другой путь во времени, который всё равно привёл к тому, что ваша мать оказалась снаружи здания, но это по-прежнему было не то, чего вы хотели, и это по-прежнему не было тем решением, которое пришло бы