Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Эти ценности не возникают во всех возможных разумах. Они не появятся из ниоткуда, чтобы упрекнуть и отменить функцию полезности максимизатора ожидаемого количества скрепок.

Стоит нажать чуть сильнее не в том измерении, и физическое воплощение этих ценностей разлетится вдребезги — и уже не вернётся, ибо не останется ничего, что могло бы захотеть его вернуть.

И у референта этих ценностей — достойной вселенной — больше не будет никаких физических причин для возникновения.

Выпустите руль из рук, и Будущее потерпит крушение.

*

280. Дар, который мы приносим завтрашнему дню. Как, о как могла вселенная, сама по себе лишенная любви и разума, исторгнуть умы, способные любить? «В этом нет никакой тайны», — скажете вы. «Это всего лишь вопрос естественного отбора».

Но естественный отбор жесток, кровав и чертовски глуп. Даже когда на первый взгляд биологические организмы не напрямую сражаются друг с другом — не напрямую рвут друг друга когтями — между генами все равно идет более глубокая конкуренция. Генетическая информация создается, когда гены увеличивают свою относительную частоту в следующем поколении: для «генетической приспособленности» важно не то, сколько у вас детей, а то, что у вас больше детей, чем у других. Вполне возможно, что вид эволюционирует до вымирания, если побеждающие гены играют в игры с отрицательной суммой.

Как, о как мог подобный процесс создать существ, способных любить?

«Никакой тайны», — скажете вы. «В мире вообще не бывает тайн. Таинственность — это свойство вопросов, а не ответов. Дети матери несут в себе ее гены, поэтому мать любит своих детей».

Но иногда матери усыновляют детей и все равно любят их. И матери любят своих детей ради них самих, а не за их гены.

«Никакой тайны», — скажете вы. «Отдельные организмы — это исполнители адаптаций, а не максимизаторы приспособленности. Эволюционная психология не занимается сознательным максимизированием приспособленности — на протяжении большей части человеческой истории мы вообще не знали о существовании генов. Мы не просчитываем влияние наших поступков на генетическую приспособленность ни сознательно, ни даже подсознательно».

Но люди заводят дружбу даже с теми, кто не является их родственниками. Как такое возможно?

«Никакой тайны, ведь охотники-собиратели часто разыгрывают повторяющуюся дилемму заключенного, решением которой является взаимный альтруизм. Порой самым опасным человеком в племени оказывается не самый сильный, самый красивый или даже самый умный, а тот, у кого больше всего союзников».

И все же не все друзья — друзья лишь до первой беды; у нас есть понятие настоящей дружбы, и некоторые люди жертвовали жизнью ради своих друзей. Не должна ли была подобная преданность вымываться из генофонда?

«Вы сами сказали: у нас есть понятия настоящей дружбы и дружбы до первой беды. Мы умеем отличать — или пытаемся отличать — того, кто видит в нас ценного союзника, от того, кто просто исполняет адаптацию дружбы. Мы бы не стали искренне дружить с тем, кого сами не считаем настоящим другом, а человек со множеством настоящих друзей гораздо грознее того, у кого много ненадежных союзников».

А как же Мохандас Ганди, который действительно подставлял другую щеку? Те, кто пытается служить всему человечеству, независимо от того, служит ли оно им в ответ?

«Это, пожалуй, более сложная история. Люди — не просто социальные животные. Мы — животные политические, которые ведут словесные споры о политике в адаптивных контекстах племени. Иногда самым грозным человеком оказывается не самый сильный, а тот, кто умеет искуснее всех доказать, что предлагаемый им курс соответствуют интересам остальных».

Хм... это не объясняет Ганди, или я чего-то не понимаю?

«Суть в том, что у нас есть способность спорить о том, „что должно быть сделано“, как о суждении — мы можем выдвигать эти аргументы и отвечать на них, без чего политика была бы невозможна».

Хорошо, но как насчет Ганди?

«Он поверил в определенные сложные суждения о том, „что должно быть сделано“, и следовал им».

Это звучит подозрительно похоже на то, чем можно объяснить вообще любое человеческое поведение.

«Если мы проследим причинно-следственную связь через все эти доводы, то обнаружим следующее: моральную архитектуру, способную обсуждать общие абстрактные этические суждения вроде „Как следует поступать с людьми?“; апелляцию к врожденным интуитивным представлениям вроде справедливости, понятия долга, неприятия боли, эмпатии; нечто вроде предпочтения простых моральных утверждений, вероятно, унаследованного от нашего априорного принципа Оккама; и конечным результатом всего этого, плюс, возможно, эффектов меметического отбора, стало обобщенное правило „Людям нельзя причинять вред“ во всей его полноте...»

И так мы получаем Ганди.

«Если только вы не считаете это магией, это должно как-то укладываться в закономерное причинно-следственное развитие вселенной».

Я уж точно не стану постулировать магию, под каким бы соусом ее ни подавали.

«Вот и отлично».

Но послушайте... разве это не кажется немного... поразительным... что сотни миллионов лет смертельного турнира эволюции смогли породить матерей и отцов, сестер и братьев, мужей и жен, верных друзей и благородных врагов, истинных альтруистов и борцов за правое дело, полицейских и верных защитников, даже художников, жертвующих собой ради искусства, — и все они проявляют столько видов любви? К стольким вещам, далеким от генов? Вносят свою лепту в то, чтобы сделать наш мир чуть менее уродливым, превратить его во что-то иное, нежели океан крови, насилия и бездумного воспроизводства?

«Вы утверждаете, что это вас удивляет? Если так, поставьте под сомнение вашу базовую модель, ведь она заставила вас удивляться реальному положению дел.

С самого начала времен

ни одного необычного события

так и не произошло».

Но как это может не удивлять?

«Что вы предлагаете? Что за кулисами стояла некая таинственная фигура и направляла эволюцию?»

Черт, конечно нет. Но...

«Потому что, если бы вы это действительно предполагали, мне пришлось бы спросить, как эта таинственная фигура изначально решила, что любовь — это желательный результат эволюции. Мне пришлось бы спросить, откуда у этой фигуры взялись предпочтения, включающие такие вещи, как любовь, дружба, верность, справедливость, честь, романтика и так далее. С точки зрения эволюционной психологии мы видим, как возник именно этот конкретный результат — как именно эти цели, а не какие-то другие, вообще возникли. Можете называть это „удивительным“ сколько угодно. Но если вы действительно понимаете эволюционную психологию, вы видите, что родительская любовь,