Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если бы только проект «Открытый код желаний» разработал Желание Вытащить Мать Из Горящего Здания:

Я желаю переместить мою мать (определяемую как женщина, которая разделяет половину моих генов и родила меня) за пределы здания, находящегося в данный момент ближе всего ко мне и охваченного огнем; но не путём взрыва здания; и не путём обрушения стен, чтобы у здания больше не было границ; и не путём ожидания, пока здание догорит, чтобы спасатель вынес её тело . . .

Все эти частные случаи, кажущееся бесконечным количество необходимых исправлений, должны напомнить вам притчу об Искусственном сложении — программировании экспертных систем сложения путём явного добавления всё новых утверждений вроде «пятнадцать плюс пятнадцать равно тридцать, но пятнадцать плюс шестнадцать вместо этого равно тридцать один».

Как вы исключаете исход, при котором здание взрывается и выбрасывает вашу мать в небо? Вы смотрите вперёд и предвидите, что ваша мать погибнет, а вам этого не хочется, поэтому вы пытаетесь запретить событие, которое к этому ведёт.

В вашем мозгу нет жёстко зашитого конкретного, заранее записанного утверждения: «Взорвать горящее здание, где находится моя мать, — плохая идея». И тем не менее вы пытаетесь записать именно это конкретное утверждение в функцию будущего Насоса исходов. В результате желание разрастается, превращаясь в гигантскую таблицу поиска, которая фиксирует вашу оценку каждого возможного пути во времени.

У вас не получилось попросить о том, чего вы действительно хотели. Вы хотели, чтобы ваша мать продолжала жить, но пожелали, чтобы она оказалась дальше от центра здания.

Вот только это не всё, чего вы хотели. Если вашу мать спасут из здания, но она получит ужасные ожоги, этот исход займёт в вашей иерархии предпочтений более низкое место, чем исход, при котором её спасут целой и невредимой. Значит, вы цените не только жизнь вашей матери, но и её здоровье.

И вы цените не только её физическое здоровье, но и душевное состояние. Спасение таким способом, который травмирует её психику — например, если гигантский фиолетовый монстр с рёвом возникнет из ниоткуда и схватит её — уступает появлению пожарного, который выведет её безопасным путём. (Да, мы должны придерживаться физики, но, возможно, при достаточно мощном Насосе исходов в округе по чистому совпадению именно в этот момент объявятся инопланетяне.) Впрочем, вы наверняка предпочли бы спасение монстром тому, чтобы она сгорела заживо.

А как насчёт кротовой норы, которая спонтанно откроется и перенесёт её на необитаемый остров? Это лучше, чем её смерть, но хуже, чем если бы она была жива, здорова, невредима, не травмирована и находилась в постоянном контакте с вами и другими членами своего круга общения.

Нормально ли спасти жизнь матери ценой жизни семейной собаки, если та побежала звать пожарного, но попала под машину? Очевидно, да, но при прочих равных было бы лучше избежать гибели собаки. Вы бы не захотели обменять другую человеческую жизнь на её жизнь, но как насчёт жизни осуждённого убийцы? Имеет ли значение, если убийца погибнет, пытаясь спасти её по доброте душевной? А два убийцы? Если бы ценой жизни вашей матери стало уничтожение всех существующих копий — включая воспоминания — Малой фуги соль минор Баха, стоило бы оно того? А если бы она была неизлечимо больна и всё равно умерла через полтора года?

Если ногу вашей матери раздавит горящая балка, стоит ли вытаскивать всё остальное? А если раздавит голову, оставив тело? А если раздавит тело, оставив только голову? А если снаружи ждёт команда крионистов, готовая заморозить её голову? Является ли замороженная голова человеком? Является ли человеком Терри Шиаво? Сколько «стоит» шимпанзе?

Ваш мозг не устроен бесконечно сложно; существует лишь конечная колмогоровская сложность (или длина сообщения), достаточная для описания всех суждений, которые вы могли бы вынести. Но то, что эта сложность конечна, не делает её малой. Мы ценим многое, и нет, эти ценности не сводятся к одной лишь ценности счастья или ценности репродуктивного успеха.

Не существует безопасного желания меньшего размера, чем вся человеческая мораль целиком. Во Времени слишком много возможных путей. Вы не можете представить себе все дороги, ведущие к цели, которую вы ставите перед джинном. «Максимизацию расстояния между вашей матерью и центром здания» можно выполнить ещё более эффективно — взорвав ядерное оружие. Или, при более высоком уровне могущества джинна, выбросив её тело за пределы Солнечной системы. Или, при более высоком уровне интеллекта джинна, сделав нечто такое, о чём ни вы, ни я даже не подумали бы — точно так же, как шимпанзе не подумал бы о подрыве ядерного оружия. Вы не можете визуализировать все пути во времени, так же как не можете запрограммировать шахматный компьютер, жёстко прописав ход для каждой возможной позиции на доске.

А реальная жизнь гораздо сложнее шахмат. Вы не можете заранее предсказать, какие из ваших ценностей понадобятся, чтобы оценить путь во времени, который выберет джинн. Особенно если вы желаете чего-то более долгосрочного или масштабного, чем спасение матери из горящего здания.

Боюсь, проект «Открытый код желаний» бесполезен — разве что в качестве иллюстрации того, как не следует думать о проблемах с джиннами. Единственный безопасный джинн — это джинн, разделяющий все ваши критерии оценки, и на этом этапе вы можете просто сказать: «Я желаю, чтобы ты сделал то, что мне следовало бы пожелать». Что просто запускает функцию «должен» джинна.

Собственно говоря, не должно быть необходимости говорить что-либо. Чтобы быть безопасным исполнителем желаний, джинн должен разделять те же ценности, которые побудили вас вообще загадать это желание. В противном случае джинн может выбрать не тот путь во времени, который ведёт к намеченной вами цели, или же не сумеет исключить ужасные побочные эффекты, из-за которых вы изначально даже не стали бы рассматривать подобный план. Желания — это протекающие обобщения, выведенные из огромной, но конечной структуры вашей морали целиком; только включив эту структуру полностью, можно перекрыть все протечки.

С безопасным джинном загадывать желания излишне. Просто запустите джинна.

*

151. Антропоморфный оптимизм.

Главная ошибка антропоморфизма состоит в ожидании, что нечто можно предсказать с помощью «чёрного ящика» вашего собственного мозга, в то время как его причинная структура настолько отличается от структуры человеческого мозга, что у вас нет никаких оснований на это рассчитывать.

Ранние (до 1966 года) биологи, описанные в эссе «Трагедия группового отбора», полагали, что хищники будут добровольно ограничивать свое размножение, дабы избежать