Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Но если у организма не будет отдельного влечения к еде, он умрет с голоду и не сможет размножиться». До тех пор пока организм знает именно этот факт и обладает функцией полезности, в которой ценится размножение, он будет есть автоматически. На самом деле это именно то консеквенциальное рассуждение, которое сам естественный отбор использовал для создания автоматических едоков.

А как насчет любопытства? Разве консеквенциалист не проявлял бы любопытство только тогда, когда видел для этого конкретную причину? И не привело бы это к тому, что он упускал бы массу важных знаний, для исследования которых не было явного повода? Но опять же, консеквенциалист начнет исследование, обладая лишь знанием об этом самом факте. Если рассмотреть любознательность человека — которая вовсе не слепа, а реагирует на конкретные особенности задач, — то эта сложная адаптация является чистым результатом консеквенциальных рассуждений ДНК, неявным представлением знаний: предки, занимавшиеся подобными исследованиями, оставляли больше потомства.

Так что в принципе чистый репродуктивный консеквенциалист возможен. В принципе, вся история предков, неявно представленная в когнитивных адаптациях, может быть преобразована в явно представленное знание, работающее на базе консеквенциального ядра.

Но слепой бог-идиот не настолько умен. Эволюция — это не программист-человек, способный одновременно отрефакторить архитектуру всего кода. Эволюция — это не программист-человек, который может сесть и напечатать инструкции со скоростью шестьдесят слов в минуту.

За миллионы лет до появления гоминидного консеквенциализма существовало обучение с подкреплением. Сигналами вознаграждения служили события, которые надежно коррелировали с размножением. Нельзя требовать от негоминидного мозга предвидения, что если ребенок съест жирную пищу сейчас, то он переживет зиму. Поэтому ДНК строит белковый мозг, генерирующий сигнал вознаграждения за поедание жирной пищи. А дальше организм уже сам учится определять, какая добыча вкуснее всего.

ДНК создает белковые мозги с сигналами вознаграждения, которые имеют дальнюю корреляцию с репродуктивной приспособленностью, но ближнюю — с поведением организма. Вам не нужно соображать, что поедание сладкой пищи осенью приведет к усвоению калорий, которые отложатся в виде жира и помогут выжить зимой, чтобы весной спариться и летом принести потомство. Яблоко просто вкусное, и вашему мозгу нужно лишь сообразить, как достать с дерева побольше яблок.

И потому у организмов в ходе эволюции развиваются вознаграждения за еду, за строительство гнезд, за отпугивание конкурентов, за помощь братьям и сестрам, за открытие важных истин, за создание прочных союзов, за убедительные споры и, конечно же, за секс...

Когда начали появляться гоминидные мозги, способные к междоменному консеквенциальному рассуждению, они рассуждали консеквенциально о том, как получить уже существующие подкрепления. Это был относительно простой хак, куда более простой, чем воссоздание «максимизатора совокупной приспособленности» с нуля. Белковые мозги планировали, как заполучить калории и секс, без какого-либо явного когнитивного представления о «совокупной приспособленности».

Инженер-человек сказал бы: «Ого, я только что изобрел консеквенциалиста! Теперь я могу взять все свои добытые с трудом знания о том, какое поведение повышает приспособленность, и сформулировать их в явном виде! Я могу преобразовать весь этот сложный механизм обучения с подкреплением в простое декларативное утверждение: „Жирная пища и секс обычно повышают вашу совокупную приспособленность“. Консеквенциальное рассуждение автоматически позаботится обо всем остальном. Плюс, у него не будет столь очевидного сценария отказа, при котором он изобретает презервативы!»

Впрочем, инженер-человек и сетчатку задом наперед делать бы не стал.

Слепой бог-идиот — это не единая цель, а множество осколков внимания. Лисы эволюционируют, чтобы ловить кроликов, кролики эволюционируют, чтобы убегать от лис; сколько видов, столько и эволюций. Но внутри каждого отдельного вида слепой бог-идиот абсолютно одержим совокупной генетической приспособленностью. Ни одно качество не ценится само по себе, даже выживание — лишь в той мере, в какой оно повышает репродуктивную приспособленность. Нет смысла в организме со стальной кожей, если его репродуктивная способность в итоге окажется на 1% ниже.

И всё же, когда слепой бог-идиот создавал белковые компьютеры, его мономаниакальная зацикленность на совокупной генетической приспособленности не передалась им в точности. Его критерий оптимизации не смог успешно сквайниться. Мы, творение эволюции, чужды эволюции так же, как наш Создатель чужд нам. Единая чистая функция полезности разлетелась на тысячу осколков желаний.

Почему? Прежде всего потому, что эволюция глупа в абсолютном смысле. Но также и потому, что первые белковые компьютеры были далеко не такими универсальными, как слепой бог-идиот, и могли опираться лишь на краткосрочные желания.

В конечном счете, спрашивать, почему эволюция не создала людей максимизаторами совокупной генетической приспособленности — всё равно что спрашивать, почему эволюция не вручила людям рибосому и не велела спроектировать собственную биохимию. Да потому, что эволюция не умеет рефакторить код так быстро. Но, возможно, за миллиард лет непрерывного естественного отбора именно это бы и произошло, будь разум достаточно глуп, чтобы позволить богу-идиоту править и дальше.

В романе Ларри Нивена и Джерри Пурнелла «Мошка в зенице Господней» описан разумный вид, который задержался в биологической стадии слишком надолго и постепенно оказался в истинном рабстве у эволюции, мало-помалу превратившись в настоящих максимизаторов приспособленности, одержимых идеей превзойти друг друга в размножении. Но, к счастью, у нас всё сложилось иначе. Не здесь, на Земле. По крайней мере, пока.

Поэтому люди любят вкус сахара и жира, и мы любим своих сыновей и дочерей. Мы стремимся к социальному статусу и сексу. Мы поем, танцуем и играем. Мы учимся из любви к познанию.

Тысяча восхитительных вкусов, привязанных к древним подкреплениям, которые когда-то коррелировали с репродуктивной приспособленностью — и к которым мы стремимся теперь вне зависимости от того, способствуют они размножению или нет. Секс с контрацепцией, шоколад, музыка давно умершего Баха на компакт-диске.

И когда мы наконец узнаём об эволюции, мы думаем про себя: «Целыми днями зацикливаться на совокупной генетической приспособленности? И какое в этом удовольствие?»

Единственная мономаниакальная цель слепого бога-идиота разлетелась на тысячу осколков желаний. И это хорошо, как мне кажется — хоть я и сужу об этом как человек. Иначе что бы мы делали с будущим? Что бы мы делали с миллиардом галактик в ночном небе? Заселили бы их максимально эффективными репликаторами? Неужели наши потомки должны сознательно зациклиться на максимизации своей совокупной генетической приспособленности, рассматривая всё остальное лишь как средство достижения этой цели?

Быть тысячей осколков желаний не всегда весело, но по крайней мере это не скучно. В какой-то момент эволюционного пути у нас развился вкус к новизне, сложности, элегантности и вызову — вкус, который судит мономаниакальную зацикленность слепого бога-идиота и находит её эстетически неудовлетворительной.

И да, нам, осколкам самого слепого бога-идиота, достались