Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

перенаселения среды обитания и истощения популяции жертв. Позднее, когда Майкл Дж. Уэйд действительно воссоздал в лаборатории практически невозможные условия для группового отбора, взрослые особи приспособились пожирать собственные яйца и личинки, особенно личинки самок.1

Почему же сторонники группового отбора могли не подумать о такой возможности?

Представьте, что вы член племени и знаете, что в ближайшем будущем ваше племя столкнется с нехваткой ресурсов. В качестве решения вы могли бы предложить, чтобы ни одна пара не заводила больше одного ребенка — после первого ребенка пара начинает использовать контрацепцию. Сказать же: «Давайте каждый из нас заведет как можно больше детей, а потом мы будем выслеживать и пожирать детей друг друга, особенно девочек», вам бы даже не пришло в голову в качестве возможного варианта.

Представьте себе упорядочение решений по степени предпочтительности относительно ваших целей. Вы хотите найти решение, находящееся как можно выше в этом списке предпочтений. Как его найти? Разумеется, с помощью мозга! Думайте о своем мозге как о генераторе высокоранговых решений — поисковом процессе, который выдает решения, занимающие высокие места в вашей врожденной шкале предпочтений.

Пространство решений для любых реальных задач обычно весьма обширно, и именно поэтому вам необходим эффективный мозг, который даже не утруждает себя формулированием подавляющего большинства низкоранговых решений.

Если ваше племя сталкивается с нехваткой ресурсов, вы могли бы попробовать повсюду прыгать на одной ноге или откусить себе пальцы на ногах. Эти «решения», очевидно, не сработали бы и повлекли бы за собой огромные издержки, в чем легко убедиться при ближайшем рассмотрении, — но на самом деле ваш мозг слишком эффективен, чтобы тратить время на обдумывание столь никудышных вариантов; он попросту не генерирует их с самого начала. Ваш мозг в поиске высокоранговых решений устремляется прямиком к таким областям пространства решений, как: «Все члены племени собираются вместе и соглашаются заводить не более одного ребенка на пару, пока дефицит ресурсов не закончится».

Столь низкоранговое решение, как «Всем заводить как можно больше детей, а затем пожирать девочек», не было бы сгенерировано в процессе вашего поиска.

Но ранжирование варианта как «низкого» или «высокого» не является его неотъемлемым свойством. Это свойство процесса оптимизации, который осуществляет выбор. И разные процессы оптимизации будут вести поиск в разном порядке.

Что касается эволюции, то размножение особей по максимуму с последующим пожиранием чужих дочерей для неё — решение проще простого; в то время как добровольное ограничение размножения ради блага группы — абсолютный абсурд. Или, выражаясь менее антропоморфно, первый набор аллелей быстро вытеснит второй в популяции. (И у естественного отбора здесь нет очевидного порядка поиска — эти две альтернативы кажутся примерно одинаково простыми с точки зрения мутаций.)

Предположим, кто-то из биологов сказал бы: «Если у популяции хищников есть лишь ограниченные ресурсы, эволюция заставит их добровольно сдерживать размножение — именно так поступил бы я, если бы я руководил созданием хищников». Это был бы чистейший антропоморфизм, цепочка рассуждений обнажена и выставлена напоказ: я поступил бы так, следовательно, я делаю вывод, что и эволюция поступит так же.

В моей сфере деятельности порой сталкиваешься с этой ошибкой в чистом виде. Но предположим, вы говорите такому собеседнику: «ИИ не обязательно будет работать так же, как вы». Предположим, вы говорите этому гипотетическому биологу: «Эволюция работает не так, как вы». Что же он скажет в ответ? Я могу назвать вам ответ, который вы точно не услышите: «Боже мой! Я этого не осознавал! Один из шагов моего логического вывода был неверным; я отброшу это заключение и начну все сначала».

Нет, вместо этого вы услышите объяснение, почему любой ИИ обязан рассуждать точно так же, как и говорящий. Или причину, по которой естественный отбор, руководствуясь совершенно иными критериями оптимизации и используя совершенно иные методы оптимизации, должен сделать то же самое, что пришло бы в голову человеку как хорошая идея.

Отсюда и замысловатая идея, будто групповой отбор благоприятствует группам хищников, в которых особи добровольно отказываются от возможности размножаться.

Сторонники группового отбора в своих прогнозах заблуждались точно так же сильно, как и те, кто совершал эту ошибку напрямую. Их конечные выводы были такими же, как если бы они прямо исходили из предпосылки, будто эволюция мыслит в точности как они. Но они стерли то, что было написано над итоговой строкой их аргументации, не стирая саму итоговую строку, и вписали новые рационализации. Теперь ошибочные рассуждения замаскированы, а очевидно дефектный шаг в цепочке выводов скрыт — хотя сам вывод остался абсолютно тем же и, следовательно, в реальном мире оказался столь же неверным.

Но зачем какому-либо ученому поступать подобным образом? В конце концов, полученные данные оказались не в пользу сторонников группового отбора, и они были посрамлены.

Как я уже отмечал в эссе «Ложные критерии оптимизации», у нас, людей, похоже, развился эволюционный инстинкт доказывать, будто наша излюбленная стратегия вытекает практически из любого критерия оптимизации. Политика была неотъемлемой частью среды обитания наших предков; мы происходим от тех, кто наиболее убедительно доказывал, что интересы племени — а не просто их собственные — требуют казни ненавистного соперника Углака. И мы уж точно не потомки Углака, который не сумел доказать, что моральный кодекс его племени — а не просто его очевидная корысть — требует сохранить ему жизнь.

И поскольку мы способны рассуждать более убедительно, когда искренне во что-то верим, у нас выработался инстинкт искренне верить, будто цели других людей и моральный кодекс нашего племени действительно предполагают, что им следует поступать по-нашему ради их блага.

И вот сторонники группового отбора, воображая эту прекрасную картину хищников, ограничивающих свое размножение, инстинктивно находили рациональные объяснения тому, почему естественный отбор должен делать все так, как хочется им, даже с точки зрения собственных целей этого отбора. Лисы будут более приспособленными, если ограничат свое размножение! Нет, правда! Они даже оставят больше потомства, чем другие лисы, которые себя не ограничивают! Честное слово!

Проблема попыток убедить естественный отбор поступать по-вашему заключается в том, что в эволюции попросту нет ничего, на что могли бы подействовать ваши доводы. Эволюция работает совсем не так, как вы, — у нее нет вообще ничего, что могло бы выслушать или принять близко к сердцу ваши кропотливые объяснения того, почему ей следует поступать по-вашему. Человеческие аргументы даже несопоставимы с внутренней структурой естественного отбора как процесса оптимизации — они не используются для продвижения аллелей подобно тому, как они играли бы причинную роль в человеческой политике.

И в итоге, вместо того