Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Теперь вы можете спросить: действительно ли эти примеры из эволюционной науки применимы к человеческой морали, которой нет ровно никакого дела до совокупной генетической приспособленности, когда та встает на пути любви, сострадания, эстетики, исцеления, свободы, справедливости и так далее? В человеческих обществах понятия «совокупная генетическая приспособленность» не существовало вплоть до двадцатого века.

Но я спрошу в ответ: если мы не способны ясно разглядеть результат работы одного-единственного монотонного критерия оптимизации — если мы не можем даже научить себя слышать одну чистую ноту, — то как мы будем слушать целый оркестр? Как мы увидим, что «Всегда будь эгоистом» или «Всегда подчиняйся правительству» — плохие ориентиры для людей, если мы считаем, что даже оптимизация генов под совокупную приспособленность породит организмы, жертвующие возможностями размножения ради сохранения общественных ресурсов?

Чтобы научиться видеть ясно, нам нужны простые тренировочные примеры.

*

138. Исполнители адаптаций, а не максимизаторы приспособленности. Отдельные организмы лучше всего рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности. — Джон Туби и Леда Космидес, «Психологические основы культуры»1.

Пятьдесят тысяч лет назад вкусовые рецепторы Homo sapiens направляли своих носителей к самым дефицитным и критически важным пищевым ресурсам — сахару и жиру. Одним словом, к калориям. Сегодня контекст функционирования вкусовых рецепторов изменился, но сами рецепторы остались прежними. Калории, которые (в странах первого мира) теперь отнюдь не в дефиците, активно вредят. Микронутриенты, которых было с избытком в листьях и орехах, отсутствуют в хлебе, но наши вкусовые рецепторы не жалуются. Шарик мороженого — это сверхстимул, содержащий больше сахара, жира и соли, чем что бы то ни было в среде обитания наших предков.

Ни один человек, преследующий сознательную цель максимизировать совокупную генетическую приспособленность своих аллелей, никогда не стал бы есть печенье, если бы только не умирал от голода. Но отдельные организмы лучше всего рассматривать как исполнителей адаптаций, а не максимизаторов приспособленности.

Крестовая отвёртка, хоть её создатель и спроектировал её для закручивания винтов, не перестроится сама под винт с прямым шлицем ради выполнения своей функции. Мы создали эти инструменты, но они существуют независимо от нас и продолжают существовать сами по себе.

Внутри атомов отвёртки нет крошечных XML-тегов, описывающих их «объективное» предназначение. Создатель, конечно, имел в виду нечто конкретное, но это не то же самое, что происходит в реальном мире. Если забыть, что создатель и созданная вещь — это разные сущности, можно подумать: «Предназначение отвёртки — закручивать винты», будто это явное свойство самой отвёртки, а не свойство ума её создателя. И тогда вы удивитесь, что отвёртка не перестроилась под винт с прямым шлицем, ведь, в конце концов, предназначение отвёртки — закручивать винты.

Причина существования отвёртки — это разум создателя, который вообразил мысленный винт и мысленное вращение рукоятки. Фактическая работа отвёртки, её фактическое соответствие реальной головке винта не может быть объективной причиной существования отвёртки: будущее не может быть причиной прошлого. Но мозг создателя как реально существовавший в прошлом объект действительно может быть причиной отвёртки.

Следствие существования отвёртки может не соответствовать воображаемым следствиям в уме создателя. Жало отвёртки может сорваться и поранить руку пользователя.

А смысл отвёртки — ну, это нечто, существующее в голове пользователя, а не в виде крошечных ярлыков на её атомах. Создатель мог задумывать её для закручивания винтов. Убийца может купить её, чтобы использовать как оружие. А затем случайно выронить, и её подберёт ребёнок, который будет использовать её как долото.

Таким образом, причина существования отвёртки, её форма, её следствие и её различные смыслы — всё это разные вещи, и лишь одна из них находится внутри самой отвёртки.

Откуда берутся вкусовые рецепторы? Не от разумного создателя, мысленно представлявшего последствия их работы, а из застывшей истории предков: Адаму нравился сахар, он съел яблоко и оставил потомство; Барбаре нравился сахар, она съела яблоко и оставила потомство; Чарли нравился сахар, он съел яблоко и оставил потомство, а спустя 2763 поколения этот аллель закрепился в популяции. Для удобства мышления мы иногда сжимаем эту гигантскую историю и говорим: «Так распорядилась эволюция». Но это не мгновенное локальное событие вроде того, как человек-создатель мысленно представляет себе отвёртку. Это и есть объективная причина существования вкусового рецептора.

Какова объективная форма вкусового рецептора? Технически это молекулярный сенсор, подключённый к контурам подкрепления. Это добавляет ещё один уровень опосредованности, ведь сам по себе вкусовой рецептор не добывает пищу. Он влияет на разум организма, заставляя его хотеть есть пищу, похожую на ту, что была только что съедена.

Каково объективное следствие вкусового рецептора? У современного человека из первого мира оно разворачивается в виде множества причинно-следственных связей: от желания съесть больше шоколада — к плану съесть больше шоколада, к поеданию шоколада, к ожирению, к меньшему числу свиданий и к менее успешному размножению. Это следствие прямо противоположно ключевой закономерности в длинной цепи успехов предков, которая обусловила форму вкусового рецептора. Но поскольку переедание стало проблемой лишь недавно, эволюция (сжатая закономерность поколений предков) ещё не успела существенно повлиять на форму вкусового рецептора.

В чём смысл поедания шоколада? Это дело ваше и вашей моральной философии. Лично я считаю, что шоколад вкусный, но хотелось бы, чтобы он был менее вредным; к приемлемым решениям можно отнести перепроектирование шоколада или перепроектирование моей биохимии.

Свалив несколько этих понятий в кучу, можно было бы сказать что-то вроде: «Современные люди делают сегодня то, что способствовало бы распространению наших генов в обществе охотников-собирателей, независимо от того, помогает ли это нашим генам в современном обществе». Но это всё же не совсем верно, ведь мы не спрашиваем себя на самом деле, какое поведение максимизировало бы совокупную приспособленность наших предков. К тому же у многих видов нашей сегодняшней деятельности нет аналогов в прошлом. В обществе охотников-собирателей не было такого понятия, как шоколад.

Поэтому лучше рассматривать наши вкусовые рецепторы как адаптацию, приспособленную к условиям предков (включавшим в себя полуголодное существование, яблоки и жареных кроликов), которую современные люди исполняют в новом контексте с дешёвым шоколадом и постоянной бомбардировкой рекламой.

Поэтому и говорят: отдельные организмы лучше всего рассматривать как исполнителей адаптаций, а не максимизаторов приспособленности.

*

1. Джон Туби и Леда Космидес, «Психологические основы культуры» в The Adapted Mind: Evolutionary Psychology and the Generation of Culture, под ред. Джерома Х. Баркоу, Леды Космидес и Джона Туби (New York: