Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Слабый положительный аффект докритичен; он не закручивается в неконтролируемую спираль. Привлекательный человек кажется более честным, что, возможно, делает его ещё более привлекательным, однако эффективный коэффициент размножения нейтронов меньше единицы. Метафорически выражаясь. Резонанс вносит некоторую путаницу, но затем угасает.

Когда же интенсивный положительный аффект привязан к Великой Штуковине, резонанс проникает повсюду. Верующий коммунист видит мудрость Маркса в каждом гамбургере, купленном в «Макдоналдсе»; в каждом отказе в повышении, которое непременно досталось бы ему в истинном рабочем раю; в каждых выборах, результаты которых ему не по вкусу; в каждой газетной статье, «поданной под неверным углом». Всякий раз, когда он использует Великую Идею для интерпретации очередного события, Великая Идея подтверждается ещё сильнее. Это вызывает приятные эмоции — положительное подкрепление, — а когда что-то приятно, это, увы, заставляет нас хотеть поверить в это ещё сильнее.

Когда Великая Штуковина приносит достаточно приятных эмоций, чтобы заставить вас искать новые поводы восхититься ею ещё сильнее, ежедневно применяя её для истолкования новых событий, резонанс положительного аффекта становится похож на комнату, полную взведённых мышеловок с шариками для пинг-понга.

Это можно назвать «счастливым аттрактором», «чрезмерно положительной обратной связью», «петлей автоподстройки похвалы» или «липучкой для радости». Лично я предпочитаю термин «аффективная спираль смерти».

В следующем выпуске: как противостоять аффективной спирали смерти. (Подсказка: не за счёт отказа от восхищения чем-либо вообще и не за счёт сокрытия того, чем вы восхищаетесь, в безопасном маленьком закрытом магистериуме).

*

107. Сопротивляйтесь счастливой спирали смерти.

Жил-был человек, который был убежден, что владеет Великой Идеей. И действительно, по мере того как он все больше размышлял о Великой Идее, он понимал, что это не просто какая-то хорошая мысль, а самая замечательная идея на свете. Великая Идея разгадает тайны вселенной, затмит авторитет продажного и погрязшего в ошибках истеблишмента, наделит своих приверженцев почти магическими способностями, накормит голодных, исцелит больных, сделает весь мир лучше и так далее, и так далее, и так далее.

Этим человеком был Фрэнсис Бэкон, его Великой Идеей был научный метод, и он оказался единственным безумцем за всю историю, который заявлял о пользе такого масштаба для человечества и оказался абсолютно прав.

(Бэкон, конечно, не изобрел науку в одиночку, но он внес свой вклад и, возможно, первым осознал ее силу.)

Вот в чем проблема с решением никогда ничем слишком сильно не восхищаться: некоторые идеи действительно настолько хороши. Хотя никто еще не подтвердил делом столь же дерзкие притязания, как Бэкон — по крайней мере, пока.

Но как тогда нам противостоять счастливой спирали смерти в отношении самой Науки? Счастливая спираль смерти запускается, когда вы верите, что нечто настолько прекрасно, что из-за эффекта ореола вы находите все больше и больше хороших слов в его адрес, отчего оно кажется вам еще более замечательным, и так далее, пока вы не взмоете по спирали прямо в бездну. Что если Наука на самом деле приносит столько пользы, что мы не можем признать ее истинное величие и при этом сохранить рассудок? Звучит здорово, правда? О нет, началось, бежииииим...

Если вы извлечете из памяти стандартную кэшированную глубокую мудрость на тему «не нужно слишком сильно восхищаться наукой», вы наткнетесь на мысли вроде «Наука дала нам кондиционеры, но она же создала водородную бомбу» или «Наука может рассказать нам о звездах и биологии, но ей никогда не доказать и не опровергнуть существование дракона в моем гараже». Но люди, которые породили эти мысли, не пытались противостоять счастливой спирали смерти. Их не беспокоило, что их собственное восхищение наукой выйдет из-под контроля. Скорее всего, им просто не нравилось то, что наука говорила об их любимых верованиях, и они искали способы подорвать ее авторитет.

Стандартные критические замечания в адрес науки вряд ли найдут отклик у того, кто искренне испытывает восторг перед ней, — ведь они рассчитаны на другую аудиторию. Так что нам придется поискать другие аргументы «против».

Но если вы избирательно ищете что-то плохое о науке — пусть даже пытаясь противостоять счастливой спирали смерти, — разве вы автоматически не уличаете себя в рационализации? Зачем вообще прислушиваться к собственным мыслям, зная, что вы пытаетесь манипулировать собой?

Я вообще скептически отношусь к заявлениям о том, что одно когнитивное искажение можно использовать для нейтрализации другого. Мне это напоминает автомеханика, который говорит, что у правого дворника сломался моторчик, но вместо починки предлагает сломать и левый дворник — для равновесия. Это та самая изобретательность, из-за которой люди стреляют себе в ногу. Каким бы ни было решение, оно должно основываться на вере в истинные вещи, а не на вере в то, что вы верите в вещи, которые сами считаете ложными.

Можно ли предотвратить счастливую спираль смерти, если ограничить свое восхищение Наукой какой-то узкой областью? Часть этой спирали заключается в том, чтобы видеть Великую Идею повсюду — например, размышлять о том, как коммунизм мог бы вылечить рак, если бы только ему дали шанс. Пожалуй, самый надежный признак лидера секты — это то, что он претендует на экспертность не в одной области, и даже не в группе смежных областей, а абсолютно во всем. Гуру знает, что адептам секты следует есть, как одеваться, чем зарабатывать на жизнь; с кем заниматься сексом; на какое искусство смотреть и какую музыку слушать...

К несчастью для этого плана, большинство людей терпят сокрушительное фиаско, пытаясь очертить тесные рамки, в которых якобы должна оставаться наука. Обычная уловка вроде «Послушайте, наука ведь не вылечит рак» не сработает. «Науке нечего сказать о любви родителей к ребенку» — увы, это чистая ложь. Пытаясь отделить науку, например, от родительской любви, вы отрицаете не только когнитивистику и эволюционную психологию. Вы также отрицаете то, как Мартина Ротблатт основала компанию United Therapeutics, чтобы найти лекарство от легочной гипертензии у своей дочери (и, замечу, успешно). Наука действительно так или иначе связана практически с каждым важным аспектом человеческого существования.

Хорошо, а каков пример ложного приятного утверждения о науке?

На мой скромный взгляд, одно из таких ложных утверждений состоит в том, что наука настолько прекрасна, что ученым даже не нужно пытаться брать на себя этическую ответственность за свою работу — мол, все и так автоматически закончится хорошо. Мне кажется, что авторы этого утверждения не понимают природу процесса, благодаря которому наука приносит