Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

романтика, честь и даже истинный альтруизм и этические споры несут на себе характерный отпечаток естественного отбора в специфических адаптивных контекстах саванны времен охотников-собирателей. Так что если бы какая-то таинственная фигура и существовала, ей самой пришлось бы эволюционировать — а это лишает всякого смысла её постулирование».

Да не постулирую я никакую таинственную фигуру! Я просто спрашиваю, как так вышло, что люди стали такими добрыми.

«Добрыми! Вы вообще смотрели на эту планету в последнее время? Мы несём в себе и все остальные эволюционировавшие эмоции — которые отлично показали бы вам, что мы именно эволюционировали, начни вы в этом сомневаться. Люди далеко не всегда добры».

Мы чертовски добрее процесса, который нас породил — процесса, который оставляет слонов умирать от голода, когда у них стираются зубы, который не обезболивает умирающую газель, даже когда она лежит при смерти и больше никак не важна для эволюции. Не так уж много нужно, чтобы быть добрее эволюции. Обладать хотя бы теоретической способностью сделать один-единственный жест милосердия, почувствовать хотя бы один укол сочувствия — значит уже быть добрее эволюции.

Как эволюция, сама по себе столь безразличная, создала разум на столь качественно более высоком моральном уровне? Как эволюция, столь безобразная, в итоге создала нечто столь прекрасное?

«Прекрасное, говорите? Малая фуга соль минор Баха, возможно, и прекрасна, но на звуковых волнах, когда они колеблют воздух, нет крошечных ярлыков, указывающих на их красоту. Если вы хотите найти явно закодированную меру красоты фуги, вам придётся заглянуть в человеческий мозг — больше нигде во Вселенной вы её не найдёте. Ни в морях, ни в горах вы не найдёте записанных суждений: они не разумны, они не умеют мыслить».

Возможно, это и так. И всё же эволюция действительно дала нам способность восхищаться красотой цветка. Кажется, это всё равно требует какого-то более глубокого ответа.

«Разве вы не видите порочного круга в своём вопросе? Если бы красота была подобна какому-то великому свету в небесах, сияющему извне человечества, тогда ваш вопрос имел бы смысл — хотя всё равно оставался бы вопрос, как люди научились воспринимать этот свет. Вы эволюционировали с психологией, чуждой самой эволюции: у эволюции нет и близко того разума или точности, которые необходимы, чтобы в точности воспроизвести собственную систему целей. Породив первые настоящие умы, простой критерий приспособленности эволюции разлетелся на тысячи ценностей. Ваша психология сформировалась так, что вы приписываете полезность вещам, которые эволюцию совершенно не заботят — человеческой жизни, человеческому счастью. А потом вы оглядываетесь назад и говорите: „Как чудесно!“ Вы изумляетесь и поражаетесь тому факту, что ваши ценности совпадают сами с собой».

Но тогда... всё же поразительно, что в мир пришла именно эта замкнутая петля, а не какая-то другая. Что мы хвалим любовь, а не ненависть, красоту, а не уродство.

«Думаю, вы не понимаете. Вам кажется естественным выделять красоту и альтруизм как нечто особенное, предпочтительное, просто потому, что вы их высоко цените. И вы не видите в этом ничего необычного для себя, ведь многие ваши друзья поступают так же. И вы ожидаете, что призрак абсолютной пустоты тоже ценил бы жизнь и счастье — и тогда, с этой позиции вне реальности, действительно произошло бы величайшее совпадение».

Но ведь можно обосновать важность красоты и альтруизма, исходя из первопринципов — показать, что наше эстетическое чувство побуждает нас создавать новую сложность вместо того, чтобы бесконечно повторять одно и то же, а альтруизм важен, потому что он выводит нас за пределы самих себя, даруя нашей жизни более высокий смысл, нежели грубый, слепой эгоизм.

«И этот аргумент тронет даже призрак абсолютной пустоты? Из-за того, что вы воззвали к чуть иным ценностям? Это не первопринципы. Это просто другие принципы. Изъясняйтесь хоть самым высоким и философским слогом, вы всё равно не найдёте универсально убедительных аргументов. Всё, что вы сделали — это переложили рекурсивную ответственность».

Вы не думаете, что мы каким-то образом эволюционировали так, чтобы прикоснуться к чему-то запредельному...

«Какая польза в том, чтобы предполагать существование чего-то запредельного? Почему мы должны уделять этому запредельному больше внимания, чем нашему собственному человеческому существованию? Как это меняет вашу личную ответственность, если вы скажете, что лишь выполняли приказы этого запредельного? Да и к тому же вам всё равно пришлось бы эволюционировать так, чтобы позволить именно этому запредельному, а не чему-то другому, направлять ваши действия. Это было бы слишком большим совпадением».

Слишком большим совпадением?

«Цветок прекрасен, говорите вы. Вы думаете, за этой красотой нет никакой истории, или что наука её не знает? Цветочную пыльцу переносят пчёлы, поэтому под действием полового отбора цветы эволюционировали так, чтобы привлекать пчёл — так уж вышло, имитируя их определённые брачные сигналы; узоры цветов выглядели бы ещё сложнее, если бы вы могли видеть в ультрафиолете. А здоровые цветы — это признак плодородной земли, которая, весьма вероятно, принесёт плоды и другие богатства, а также, скорее всего, привлечёт дичь; стоит ли удивляться, что люди эволюционировали так, чтобы их привлекали цветы? Но вот если бы на самих звёздах — этих огромных неодушевлённых шарах из горящего водорода — был начертан великий свет, который тоже гласил бы, что цветы прекрасны — вот это было бы уж слишком большим совпадением».

Так вы сводите на нет красоту цветка своими объяснениями?

«Нет. Я её объясняю. Разумеется, за красотой цветов, за тем, почему мы находим их красивыми, стоит история. За упорядоченными событиями стоят упорядоченные истории; а то, у чего нет истории — это продукт случайного шума, что вряд ли лучше. Если вы не можете радоваться вещам, за которыми стоят истории, ваша жизнь действительно будет пуста. Не думаю, что я радуюсь цветку меньше вашего. Возможно, даже больше, потому что я радуюсь и его истории тоже».

Возможно, как вы и говорите, с причинно-следственной точки зрения здесь нет ничего удивительного — никакого нарушения физического порядка Вселенной. Но мне всё же кажется, что в этом сотворении человека эволюцией произошло нечто драгоценное, изумительное и чудесное. Если мы не можем назвать это физическим чудом, то назовём это моральным чудом.

«Потому что это чудо лишь с точки зрения той самой возникшей морали, что и сводит на нет все кажущиеся совпадения с чисто причинно-следственной и физической точек зрения?»

Ну... Полагаю, вы можете истолковать этот термин и так, да. Я просто имел в виду нечто невероятно удивительное и чудесное на моральном уровне, даже если оно и не удивительно на физическом.

«По-моему, я именно