Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

том, что Омега может отозвать свою угрозу? Сжётесь ли вы в экзистенциальном ужасе с криком: «Если Омега отзовёт свою угрозу, то что удержит меня от похода в туалет?» Нет, вы, вероятно, вздохнёте с облегчением, ведь у вас появится больше возможностей, кхм, облегчиться.

Иными словами: сам факт того, что верующий человек боится отмены Божьего наказания за убийство, показывает, что у него есть отвращение к убийству, никак не связанное с тем, карает за него Бог или нет. Если бы у них не было понимания, что убийство — это зло само по себе, без оглядки на божественное возмездие, то перспектива того, что Бог не станет карать за убийство, пугала бы их на экзистенциальном уровне не сильнее, чем перспектива того, что Бог не станет карать за чихание. Если у Overcoming Bias ещё остались верующие читатели, я скажу вам следующее: возможно, однажды вы потеряете веру, но в тот день вы не лишитесь своих моральных ориентиров. Ибо если вас пугает перспектива того, что Бог не накажет за какой-то поступок, это и есть моральный компас. Вы можете подключить этот компас напрямую к своей системе принятия решений и ориентироваться по нему. Вы можете просто не делать того, за что, как вы боитесь, Бог может вас не наказать. Страх потерять моральный компас сам по себе является моральным компасом. Более того, я подозреваю, что вы именно им и руководствуетесь — и руководствовались всегда. Как однажды сказал Пирс Энтони: «Только те, у кого есть душа, беспокоятся о том, есть ли она у них». Замените «душу» на «мораль» (s/душа/мораль/), и мысль останется верной.

От религиозных фундаменталистов вы не услышите аргумента: «Если бы мы не боялись ада и не жаждали рая, то что удерживало бы людей от поедания свинины?» И всё же, исходя из их предпосылок — что у нас нет иного морального компаса, кроме божественной награды и возмездия, — этот аргумент должен был бы звучать столь же убедительно, как и первый.

Даже сама мысль о том, что Бог угрожает вам вечным адским пламенем, а не печеньем, паразитирует на уже существующем негативном отношении к адскому пламени. Поразмыслите над следующим примером и спросите себя: кто из этих двух философов — истинный альтруист, а кто — эгоист?

«Вы должны быть эгоистом, потому что, когда люди пытаются улучшить общество, они вмешиваются в дела соседей, принимают законы, захватывают контроль и делают всех несчастными. Выбирайте ту работу, где платят больше всего: ведь высокооплачиваемая работа ценится больше потому, что эффективный рынок считает её более полезной, чем альтернативы. Соглашаясь на меньшую оплату, вы ставите под сомнение мнение рынка о том, что принесёт обществу наибольшую пользу».

«Вы должны быть альтруистом, потому что наш мир — это итерированная дилемма заключённого, и лучшая стратегия в ней — "Око за око" с первоначальным сотрудничеством. Люди не любят придурков. Хорошие парни действительно финишируют первыми. Исследования показывают, что те, кто вносит вклад в благополучие общества и видит смысл в своей жизни, счастливее тех, кто этого не делает; эгоизм в долгосрочной перспективе сделает вас только несчастным».

Мысленно вычеркните рекомендации обоих философов, и вы увидите, что первый философ использует строго просоциальные критерии, чтобы обосновать свои выводы; для него аргумент в пользу эгоизма становится весомым, когда показано, что эгоизм приносит пользу всем. Второй философ апеллирует к чисто индивидуальным и гедонистическим критериям; для него то, что придаёт вес аргументу в пользу альтруизма, — это демонстрация того, что альтруизм выгоден ему как личности: даёт более высокий социальный статус или более сильные ощущения удовольствия.

Так кто же из них двоих — настоящий альтруист? Тот, кто на самом деле придерживает двери перед старушками.

*

260. Ложные функции полезности.

Время от времени вы сталкиваетесь с человеком, который открыл Один Великий Моральный Принцип, из которого все остальные ценности вытекают как простое следствие.

Мне такие люди попадаются чаще, чем вам. Только в моём случае это люди, которые знают поразительно простую функцию полезности — единственное, что нужно запрограммировать в искусственный сверхинтеллект, и тогда всё будет отлично.

Некоторые люди, сталкиваясь с проблемой «как запрограммировать сверхинтеллект», пытаются решить её немедленно. Норман Р. Ф. Майер: «Не предлагайте решений, пока проблема не будет обсуждена как можно более подробно без упоминания каких-либо вариантов». Робин Доуз: «Я часто применял это предписание в группах, которыми руководил, — особенно когда они сталкивались с очень сложной проблемой, ведь именно тогда участники группы более всего склонны немедленно предлагать решения». Дружественный ИИ — это крайне сложная проблема, поэтому люди решают её крайне быстро.

Я наблюдал несколько основных классов быстрых неверных решений, и один из них — это Невероятно Простая Функция Полезности, Которой Сверхинтеллекту Будет Вполне Достаточно, Чтобы Всё Сложилось Как Надо.

Возможно, я сам усугубил эту проблему крайне неудачной формулировкой много лет назад, когда впервые заговорил о «Дружественном ИИ». Я назвал критерий оптимизации процесса оптимизации — ту область, куда агент пытается направить будущее, — «сверхцелью». Я имел в виду «сверх-» в смысле «над-» («родительский»), как источник направленной связи в ациклическом графе. Но, похоже, моя формулировка привела к тому, что некоторые люди погрузились в счастливые спирали смерти, пытаясь вообразить Самую-Пресамую Сверхцель, Цель, Которая Превосходит Все Другие Цели, Единое Абсолютное Правило, Из Которого Можно Вывести Всю Этику.

Но функция полезности вовсе не обязана быть простой. Она может содержать произвольное количество компонентов. У нас есть все основания полагать, что в той мере, в какой о людях вообще можно сказать, что они имеют ценности, этих ценностей очень много — они обладают высокой колмогоровской сложностью. Мозг человека реализует тысячу осколков желания, хотя этот факт может ускользать от тех, кто не изучал эволюционную психологию. (Попробуйте объяснить это без полноценного долгого введения, и вы услышите в ответ: «люди пытаются максимизировать приспособленность», что в точности противоположно тому, о чём говорит эволюционная психология).

Что касается дескриптивных теорий морали, сложность человеческой морали — это известный факт. Это дескриптивный факт о человеческих существах: любовь родителя к ребёнку, любовь ребёнка к родителю, любовь мужчины к женщине и любовь женщины к мужчине не были когнитивно выведены друг из друга или из какой-либо иной ценности. Матери не нужно заниматься сложной моральной философией, чтобы любить свою дочь, или экстраполировать последствия на какой-то иной объект желаний. Существует множество таких осколков желания, и все они — разные ценности.

Исключите