Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="a">таком же разнообразии оттенков, как и боль! Если бы только можно было с той же изобретательностью и усилиями, что и у инквизитора-пытателя, заставить кого-то чувствовать себя настолько же хорошо, насколько плохо чувствовали себя жертвы инквизиции...

Но что такое аналогичное удовольствие, которое ощущалось бы настолько же приятно? Жертва умелых пыток сделает всё, чтобы прекратить боль, и всё, чтобы не допустить её повторения. Будет ли эквивалентное удовольствие затмевать всё остальное требованием продолжать и повторять его? И если у людей окажется больше силы воли, чтобы переносить это удовольствие, то действительно ли это то же самое удовольствие?

Есть и другое писательское правило: истории должны кричать. Человеческий мозг находится слишком далеко от этих напечатанных букв. Каждое событие и чувство должно происходить на громкости, в десять раз превышающей естественную, чтобы вообще оказать хоть какое-то влияние. Нельзя пытаться заставить своих персонажей вести себя или чувствовать реалистично — и особенно нельзя в точности воспроизводить собственный прошлый опыт, — потому что без преувеличений они будут слишком тихими, чтобы ожить на странице.

Возможно, все Великие Истории — трагедии потому, что счастье не умеет кричать достаточно громко для человеческого читателя.

Возможно, именно это и нужно исправить.

И если бы это было исправлено... остался бы хоть какой-то смысл в боли или скорби? В самой памяти о грусти — если бы всё уже было так хорошо, как только возможно, а всякое поправимое зло уже было исправлено?

Можно ли просто взять и удалить боль целиком? Или же устранение старого нижнего порога функции полезности лишь создаст новый нижний порог? Станет ли любое удовольствие меньше 10 000 000 гедонов новой невыносимой болью?

У людей, при нынешнем нашем устройстве, действительно наблюдается склонность к гедонистическому масштабированию. Тот, кто помнит, что такое голод, оценит буханку хлеба сильнее, чем тот, кто в жизни не видел ничего, кроме пирожных. Именно на этом строилась гипотеза Джорджа Оруэлла о том, почему Утопия невозможна в литературе и реальности:1

Похоже, люди не способны ни описать, ни, пожалуй, даже вообразить счастье иначе как через сопоставление... Неспособность человечества представить счастье в какой-либо иной форме, кроме избавления — от труда или от боли, — ставит перед социалистами серьезную проблему. Диккенс может описать нищую семью, уплетающую жареного гуся, и показать их счастливыми; с другой стороны, обитатели совершенных вселенных, кажется, лишены всякого спонтанного веселья и к тому же обычно вызывают некоторое отторжение.

Для максимизатора ожидаемой полезности масштабирование функции полезности путём прибавления триллиона ко всем исходам бессмысленно — математически это буквально одна и та же функция. Функция полезности описывает относительные интервалы между исходами; именно в этом, с математической точки зрения, и заключается её суть.

Однако в человеческом мозге за положительную и отрицательную обратную связь отвечают совершенно разные нейронные контуры, к тому же существуют различные разновидности этих связей. Сегодня есть люди, которые «страдают» врождённой анальгезией — полным отсутствием болевой чувствительности. Я никогда не слышал, чтобы недостаток удовольствия становился для них невыносимым.

Людям с врождённой анальгезией действительно приходится часто и внимательно осматривать себя, проверяя, не порезались ли они или не обожгли ли палец. Боль служит определённой цели в архитектуре человеческого разума...

Но это не означает, что нет альтернативы, которая могла бы служить той же цели. Можно ли удалить боль и заменить её побуждением не делать определённых вещей, которое при этом было бы лишено невыносимого субъективного свойства боли? Я не знаю всех Законов, которые этим управляют, но могу предположить, что да, это возможно; вы могли бы заменить эту часть себя чем-то более похожим на максимизатор ожидаемой полезности.

Можно ли удалить человеческую склонность масштабировать удовольствия — стереть адаптацию, так чтобы каждый новый жареный гусь приносил столько же восторга, сколько и предыдущий? Полагаю, что да. Это опасно близко граничит с удалением Скуки, которая стоит в одном ряду с Сочувствием как нечто абсолютно незаменимое... но сказать, что старое решение остаётся столь же приятным, не означает, что вы потеряете стремление искать новые и лучшие решения.

Можно ли сделать так, чтобы каждый жареный гусь приносил столько же удовольствия, сколько он принёс бы по сравнению с голоданием, притом никогда в жизни не голодая?

Можно ли сделать так, чтобы боль от раздражающей глаз соринки не превратилась в новую пытку, если вы буквально никогда не испытывали ничего хуже неё?

Подобные вопросы уже начинают выходить за рамки моего понимания Закона, но я бы предположил, что ответ таков: да, это осуществимо. Мой опыт в подобных делах показывает, что как только вы постигаете Закон, вы обычно понимаете, как делать вещи, кажущиеся странными.

Насколько я знаю или могу судить, Дэвид Пирс («Гедонистический императив»), весьма вероятно, прав в том, что касается осуществимости, когда пишет:2

Нанотехнологии и генная инженерия покончат со страданиями всей чувствующей жизни. Аболиционистский проект чрезвычайно амбициозен, но технически осуществим. Кроме того, он инструментально рационален и морально безотлагателен. Метаболические пути боли и недомогания эволюционировали потому, что они служили приспособленности наших генов в среде предков. Они будут заменены нейроархитектурой иного рода — мотивационной системой, основанной на наследуемых градиентах блаженства. Состояниям возвышенного благополучия суждено стать генетически запрограммированной нормой психического здоровья. Прогнозируется, что последнее неприятное переживание в мире станет событием, дату которого можно будет назвать абсолютно точно.

И это... то, чего мы хотим?

Просто утереть последнюю слезу и закончить на этом?

Есть ли хоть какая-то веская причина не делать этого, кроме предвзятости статус-кво и горстки заезженных рационализаций?

Какова же альтернатива? Или альтернативы?

Оставить всё как есть? Конечно, нет. Никакой Бог не проектировал этот мир; у нас нет причин считать его абсолютно оптимальным ни по одному из параметров. Если в этом мире не слишком много боли, значит, её недостаточно, а последнее кажется маловероятным.

Но, возможно...

Можно убрать лишь невыносимую составляющую боли?

Избавиться от Инквизиции. Оставить ту боль, которая велит не совать палец в огонь, или ту, которая говорит, что не следовало совать в огонь палец друга, или даже боль от расставания с любимым человеком.

Попытаться избавиться от той боли, которая подтачивает и разрушает разум. Или настроить разумы так, чтобы их было сложнее повредить.

Мы могли бы получить мир, в котором бывают сломанные ноги или даже разбитые сердца, но нет сломленных людей. Никакого насилия над детьми, порождающего новых насильников. Никаких людей, раздавленных усталостью и выматывающими мелкими неурядицами до такой степени, что они задумываются о самоубийстве. Никаких случайных, бессмысленных и бесконечных бедствий вроде голода или СПИДа.

И если даже