Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

пищи, погибает, в чем некоторые игроки в видеоигры убедились на собственном горьком опыте. Однако в некоторых случаях в среде предков обычно полезное (и потому заманчивое) действие на самом деле могло принести вред. Люди как организмы обладают необычайно сильной способностью распознавать подобные особые случаи с помощью абстрактного мышления. С другой стороны, мы также склонны выдумывать множество несуществующих особых последствий — например, будто духи предков велят нам не есть вполне пригодных в пищу кроликов.

Похоже, эволюция пошла на компромисс или, возможно, просто наслоила новые системы поверх старых. Homo sapiens всё еще испытывают искушение едой, но наша непомерно развитая префронтальная кора дает нам ограниченную способность сопротивляться искушениям. Не безграничную — наши предки с избытком силы воли, вероятно, морили себя голодом, принося жертвы богам, или упустили лишний шанс совершить прелюбодеяние. Погибшие игроки в видеоигры, должно быть, проявили силу воли (в некотором смысле), чтобы продолжать играть так долго без еды и сна; в этом заключается эволюционная опасность самоконтроля.

Сопротивление любому искушению требует сознательного расхода исчерпаемого запаса ментальной энергии. На самом деле неверно, будто мы можем «просто сказать "нет"» — не просто сказать «нет» без каких-либо потерь для себя. Даже те люди, кто выиграл в генетической лотерее силу воли или дальновидность, все равно платят свою цену за сопротивление искушению. Просто им эту цену заплатить легче.

Наша ограниченная сила воли эволюционировала для борьбы с искушениями из среды предков; она может плохо справляться с соблазнами, выходящими далеко за рамки всего, что было известно охотникам-собирателям. Даже когда нам удается успешно сопротивляться сверхстимулу, вполне вероятно, что требуемые для этого усилия истощают силу воли гораздо быстрее, чем сопротивление первобытным искушениям.

Является ли публичная демонстрация сверхстимулов негативным внешним эффектом, даже для тех, кто говорит им «нет»? Стоит ли нам запретить рекламу шоколадного печенья или вывески магазинов, открыто гласящие: «Мороженое»?

То, что проблема существует, ещё не доказывает (без дополнительных обоснований и серьёзного бремени доказательства), что правительство способно её решить. Карьерные стимулы регулятора сосредоточены не на продуктах, сочетающих незначительный вред для потребителя с вызывающими привыкание сверхстимулами; они сосредоточены на продуктах, чьи провалы достаточно эффектны, чтобы попасть в газеты. И наоборот: то, что правительство, возможно, не способно что-то исправить, вовсе не означает, что всё не идёт наперекосяк.

В завершение я приведу последний аргумент, основанный на вымышленных свидетельствах: в сетевом романе Саймона Фанка «After Life» описывается (помимо прочего) спланированное уничтожение биологического вида Homo sapiens — не марширующими армиями роботов, а искусственными детьми, которые гораздо милее, очаровательнее и растить которых куда приятнее, чем настоящих. Возможно, демографический коллапс развитых обществ происходит потому, что рынок предлагает всё более и более заманчивые альтернативы деторождению, в то время как привлекательность смены подгузников со временем остаётся неизменной. Где рекламные щиты с призывом «РАЗМНОЖАЙТЕСЬ»? Кто станет платить профессиональным имиджмейкерам, чтобы споры с угрюмыми подростками казались заманчивее, чем отпуск на Таити?

«В конце концов, — писал Саймон Фанк, — человеческий вид просто вытеснили из существования с помощью маркетинга».

*

142. Ты — осколок Бога.

До двадцатого века ни один человек не имел явного понятия о «совокупной генетической приспособленности» — единственной и абсолютной одержимости слепого бога-идиота. У нас нет инстинктивного отвращения к презервативам или оральному сексу. Наш мозг — этот высший репродуктивный орган — не проверяет репродуктивную эффективность перед тем, как одарить нас сексуальным удовольствием.

Почему? Почему мы сознательно не одержимы совокупной генетической приспособленностью? Почему Фея Эволюции Человека создала мозг, который изобретет презервативы? «Это было бы так просто», — думает человек, способный за полдня спроектировать новую сложную систему.

Фея Эволюции, как мы все знаем, одержима совокупной генетической приспособленностью. Когда она решает, какие гены сделать универсальными, она, похоже, не принимает во внимание ничего, кроме количества копий, производимых геном. (Как странно!)

Но если создатель разума так одержим этим, почему бы не создать разумных агентов — людьми их не назовешь, — которые так же пеклись бы исключительно о совокупной генетической приспособленности? Такие агенты занимались бы сексом только ради размножения и не утруждали бы себя сексом с использованием контрацепции. Они ели бы пищу из четкого логического убеждения, что еда необходима для размножения, а не потому, что им нравится вкус, и поэтому они не стали бы есть конфеты, если бы это мешало выживанию или размножению. Женщины в период постменопаузы нянчили бы внуков до тех пор, пока не заболевали настолько, что начинали лишь истощать ресурсы, после чего совершали бы самоубийство.

Это кажется столь очевидным улучшением конструкции — с точки зрения Феи Эволюции.

Теперь ясно, что создать достаточно мощного консеквенциалиста трудно. Естественный отбор рассуждает как бы консеквенциально, но лишь опираясь на фактические последствия. Человеческим теоретикам эволюции приходится строить крайне заумные абстрактные рассуждения, чтобы вообразить связи между адаптациями и репродуктивным успехом.

Но человеческий мозг явно способен представлять эти связи в белке. Так почему же Фея Эволюции, создавая людей, вообще стала возиться с какой-либо мотивацией, кроме совокупной генетической приспособленности?

Прошло меньше двух веков с тех пор, как белковый мозг впервые сформулировал концепцию естественного отбора. Современное представление о «совокупной генетической приспособленности» — еще более тонкая, высокоабстрактная концепция. Значение имеет не количество общих генов. У шимпанзе и у вас 95% общих генов. Значение имеет общая генетическая дисперсия внутри размножающейся популяции: вы родственны со своей сестрой наполовину, потому что любые вариации в вашем геноме внутри человеческого вида с 50-процентной вероятностью будут и у нее.

Только в прошлом веке — а возможно, и вовсе в последние пятьдесят лет — эволюционные биологи начали по-настоящему понимать весь спектр причин репродуктивного успеха, таких как взаимный альтруизм и затратные сигналы. Без всех этих подробнейших знаний разумный агент, решивший «максимизировать совокупную приспособленность», с треском провалился бы.

Так почему бы заранее не снабдить белковые мозги этими знаниями? Почему концепция «совокупной генетической приспособленности» не была запрограммирована в нас вместе с библиотекой явных стратегий? Тогда можно было бы обойтись без всех этих механизмов подкрепления. Организм рождался бы со знанием того, что с высокой вероятностью жирная пища ведет к приспособленности. Если бы впоследствии организм узнал, что это больше не так, он перестал бы есть жирную пищу. Можно было бы полностью отрефакторить всю систему. И он не стал бы изобретать презервативы или печенье.

В принципе, это выглядит вполне выполнимым. Мне изредка встречаются люди, не вполне понимающие консеквенциализм, которые говорят: