Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

воображаемое горе на самом деле направляет поведение родителей прочь от потери ребенка! С эволюционной точки зрения реальный погибший ребенок — это невозвратные издержки; эволюция «хочет», чтобы родитель извлек урок из боли, не допускал этого впредь, вернулся к своей гедонистической точке равновесия и продолжал растить других детей.

3. Аналогично, график, который коррелирует с родительским горем, отражает будущий репродуктивный потенциал ребенка, дожившего до определенного возраста, а не невозвратные издержки на воспитание ребенка, дожившего до этого возраста. (Не получили ли бы мы еще более высокую корреляцию, если бы попытались учесть репродуктивные альтернативные издержки на воспитание ребенка возраста X до достижения им самостоятельности, отбросив при этом все невозвратные издержки на то, чтобы вырастить ребенка до возраста X?)

Люди обычно обращают внимание на невозвратные издержки — вероятно, это либо адаптация, не позволяющая нам слишком часто менять стратегии (компенсирующая излишне ревностный механизм замечания новых возможностей?), либо досадный спандрел в виде боли, испытываемой при растрате ресурсов.

С другой стороны, эволюция — дело не в том, что она «не заботится о невозвратных издержках», а в том, что она даже близко так не «мыслит»; «эволюция» — это просто макрофакт о реальных исторических репродуктивных последствиях.

Поэтому — конечно же — адаптация родительского горя тонко настроена так, что никак не связана с прошлыми инвестициями в ребенка, но целиком и полностью зависит от будущих репродуктивных последствий его потери. Естественный отбор не помешан на невозвратных издержках так, как мы.

Но — разумеется — адаптация родительского горя продолжает функционировать так, будто родитель живет в племени !кунг, а не в Канаде. Большинство людей заметили бы разницу.

Люди и естественный отбор безумны разными, сложными и устойчивыми способами.

*

1. Роберт Райт, Моральное животное: Почему мы такие, какие мы есть. Новая наука эволюционной психологии (Pantheon Books, 1994); Чарльз Б. Кроуфорд, Бренда Э. Солтер и Керри Л. Джанг, «Человеческое горе: связана ли его интенсивность с репродуктивной ценностью умершего?», Ethology and Sociobiology 10, № 4 (1989): 297–307.

141. Сверхстимулы и коллапс западной цивилизации.

По меньшей мере три человека умерли, играя в онлайн-игры по нескольку дней без отдыха. Люди лишались супругов, работы и детей из-за World of Warcraft. Если люди имеют право играть в видеоигры — а трудно представить себе более фундаментальное право, — то рынок ответит на это предложением самых затягивающих видеоигр, какие только можно продать, вплоть до того, что исключительно увлеченные потребители будут вымываться из генофонда.

Как потребительский товар становится настолько всепоглощающим, что после 57 часов использования потребитель предпочтет использовать его еще один час вместо еды или сна? (Полагаю, кто-то мог бы возразить, что потребитель принимает рациональное решение и просто предпочитает поиграть в Starcraft лишний час, вместо того чтобы проживать остаток своей жизни, но давайте не будем об этом. Пожалуйста.)

Шоколадный батончик — это сверхстимул: в нем содержится больше концентрированного сахара, соли и жира, чем в чем-либо, что существовало в среде наших предков. Батончик идеально соответствует вкусовым рецепторам, которые сформировались в среде охотников-собирателей, но воздействует на них гораздо сильнее, чем всё, что реально существовало в той первобытной среде. Сигнал, который когда-то надежно коррелировал со здоровой пищей, был перехвачен и вытеснен точкой во вкусовом пространстве, которой не было в обучающей выборке — невероятно далеким выбросом на старых графиках среды предков. Вкусность, которая раньше представляла собой эволюционно выявленный признак полезности, была подвергнута обратному проектированию и идеально воссоздана в искусственном веществе. К сожалению, у рынка нет столь же мощного стимула делать получившийся продукт питания столь же полезным, сколь он вкусен. В конце концов, мы не можем почувствовать пользу на вкус.

Ставшее знаменитым видео «Эволюция» от Dove показывает кропотливый процесс создания другого сверхстимула: обычная женщина с помощью макияжа, тщательно выверенной фотосъемки и, наконец, масштабной обработки в фотошопе превращается в модель с рекламного щита — недостижимую красавицу, с которой реальным женщинам в неотретушированном мире соперничать невозможно. Настоящие женщины губят себя (например, супермодели употребляют кокаин, чтобы удерживать вес), пытаясь не отстать от конкуренток, которых буквально не существует.

И точно так же видеоигра может оказаться гораздо более затягивающей, чем сама реальность, — даже на обычном компьютерном мониторе, — так что кто-то будет играть без еды и сна до самой смерти. Я не знаю всех уловок, используемых в видеоиграх, но о некоторых могу догадаться: задачи, балансирующие на грани между простотой и невыполнимостью, вариативное подкрепление, обратная связь в виде постоянно растущего счета, социальное вовлечение в массовых многопользовательских играх.

Есть ли предел рыночному стимулу делать видеоигры все более затягивающими? Хотелось бы надеяться, что этот стимул пропадает, когда игроки начинают терять работу; в конце концов, они должны быть в состоянии оплачивать подписку. Это предполагало бы наличие некой «золотой середины» в плане вызываемой играми зависимости, когда вершина колоколообразной кривой приходится на обычное развлечение, и лишь немногие несчастные на ее краях впадают в такую зависимость, что теряют работу. По состоянию на 2007 год игра в World of Warcraft в течение 58 часов подряд до самой смерти по-прежнему остается скорее исключением, чем правилом. Но производители видеоигр конкурируют друг с другом, и если вы можете сделать свою игру на 5% более аддиктивной, вы, возможно, сможете переманить 50% клиентов своего конкурента. Нетрудно заметить, что эта проблема может стать гораздо хуже.

Если люди имеют право подвергаться искушению — а в этом и заключается суть свободы воли, — рынок ответит на это предложением стольких искушений, сколько вообще возможно продать. Стимул состоит в том, чтобы сделать свои раздражители на 5% более соблазнительными, чем у лидирующих на данный момент конкурентов. И этот процесс продолжается далеко за пределами точки, в которой раздражители превращаются в аномальные для среды предков сверхстимулы. Посмотрите, как изменились наши стандарты женской красоты, продающей товары, со времен рекламы 1950-х годов. И, как показывают шоколадные батончики, рыночный стимул продолжает действовать и далеко за пределами той точки, где сверхстимул начинает наносить потребителю сопутствующий ущерб.

Так почему же мы просто не скажем «нет»? Ключевое допущение экономики свободного рынка состоит в том, что в отсутствие принуждения и обмана люди всегда могут отказаться от вредной для них сделки. (В той мере, в какой это правда, свободный рынок был бы не просто лучшей политикой в целом, но политикой с минимальными недостатками или вовсе без них.)

Организм, который регулярно отказывается от