Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

(Замечание ad hominem: Фишер был фреквентистом. Байесианцы подходят к выводу о вероятной причинно-следственной связи более разумно.)

Как и многие другие формы мотивированного скептицизма, мотивированное продолжение может маскироваться под добродетельную рациональность. Кто станет возражать против сбора дополнительных свидетельств? Я стану. Сбор свидетельств часто обходится дорого, и что еще хуже, требует времени, и уж точно нет никакой добродетели в отказе учитывать уже имеющиеся у вас свидетельства. Вы всегда можете изменить свое мнение позже. (Кажущееся противоречие разрешается так: потратить один час на обсуждение проблемы, предварительно тщательно очистив разум от готовых выводов, — это совсем не то же самое, что ждать десять лет результатов очередного исследования стоимостью 20 миллионов долларов.)

Что касается мотивированной остановки, она возникает везде, где пугает третья альтернатива, а также там, где есть аргумент, очевидного контраргумента к которому вы предпочли бы не замечать, да и во многих других случаях. Она возникает, когда вы действуете так, что вам приятно уже от самого факта действия, и поэтому вы не хотите проверять, насколько на самом деле сработал ваш план — из страха разрушить теплое чувство морального удовлетворения, за покупку которого вы заплатили немалые деньги. Она возникает везде, где ваши убеждения расходятся с вашими ожиданиями, из-за чего у вас появляется повод бояться любых новых собранных свидетельств.

Мораль такова: решение прекратить процесс поиска (временно или окончательно), подобно самому процессу поиска, подвержено искажениям и скрытым мотивам. Вам стоит заподозрить у себя мотивированную остановку, когда вы прекращаете поиск, придя к комфортному выводу, хотя вокруг полно быстрых и дешёвых свидетельств, которые вы так и не собрали — сайтов, которые вы могли бы посетить, контр-контраргументов, которые вы могли бы рассмотреть, или если вы даже не закрыли глаза ровно на пять минут, пытаясь придумать вариант получше. И вам стоит заподозрить мотивированное продолжение, когда факты склоняются в неприятную для вас сторону, но вы решаете, что нужно собрать побольше свидетельств — дорогих свидетельств, которые, как вы прекрасно знаете, вы не сможете получить в ближайшее время (в отличие от того, чтобы просто погуглить полчаса), — прежде чем вам придется сделать что-то неприятное.

*

76. Фальшивое оправдание.

Многие христиане, которые перестали по-настоящему верить, теперь настаивают, что почитают Библию как источник этических советов. Стандартный ответ атеистов сформулировал Сэм Харрис: «Мы с вами прекрасно знаем, что нам потребовалось бы пять минут, чтобы написать книгу с куда более последовательной и милосердной моралью, чем в Библии». Точно так же можно пытаться утверждать, что Библия ценна как литературное произведение. Но почему тогда не почитать «Властелина колец» — куда более выдающееся литературное произведение? И несмотря на стандартную критику морали Толкина, «Властелин колец» как минимум превосходит Библию в качестве источника этики. Так почему же люди не носят на шее маленькие колечки вместо крестиков? Даже «Гарри Поттер» превосходит Библию — и как художественное произведение, и как моральная философия. Если бы я действительно хотел проявить жестокость, я бы сравнил Библию с циклом «Кушиель» Жаклин Кэри.

«Как ты можешь оправдать покупку ноутбука за миллион долларов, украшенного драгоценными камнями, — спрашиваете вы друга, — когда у стольких людей вообще нет никаких ноутбуков?» А ваш друг отвечает: «Но подумай о рабочих местах, которые это обеспечит — производителю ноутбука, его рекламному агентству, — а потом они купят себе еду, сходят постричься... это простимулирует экономику, и со временем у многих появятся свои ноутбуки». Но было бы еще более эффективно купить 5000 ноутбуков по программе «One Laptop Per Child» («Каждому ребенку по компьютеру»), тем самым обеспечив работой производителей OLPC и раздав ноутбуки напрямую.

Ранее я уже касался темы неумения искать третьи альтернативы. Но здесь дело не совсем в «мотивированной остановке». Назвать это «мотивированной остановкой» значило бы предположить, что поиск вообще изначально проводился.

В эссе «Итоговая строка» я отмечал, что только истинные детерминанты наших убеждений могут влиять на точность наших представлений о реальном мире, и только истинные детерминанты наших действий могут влиять на нашу эффективность в достижении целей. Тот, кто покупает ноутбук за миллион долларов, на самом деле думал: «О-о, какая блестящая штучка!», и именно это было единственной истинной причинно-следственной историей его решения совершить покупку. Никакие «оправдания» не могут этого изменить, если только оправдание не представляет собой подлинный, запущенный заново процесс поиска, способный изменить вывод. По-настоящему изменить вывод. Большая часть критики, осуществляемой из чувства долга, — это скорее чисто формальная проверка. Как свободные выборы в однопартийной стране.

Чтобы по-настоящему обосновать возвеличивание Библии её литературными достоинствами, вам пришлось бы как-то беспристрастно прочитать весь список книг-кандидатов, пока вы не нашли бы книгу наивысшего литературного качества. Известность — вполне разумный критерий для отбора кандидатов, так что, полагаю, вы вполне закономерно могли бы в итоге прочесть Шекспира, Библию и «Гёдель, Эшер, Бах». (Иначе обнаружить Библию среди кандидатов в ряду миллионов других книг было бы слишком уж большим совпадением.) Настоящая трудность кроется в самом этом «беспристрастном чтении». Это довольно легко, если вы не христианин, но если вы им являетесь...

Но, конечно же, ничего подобного не было. Никакого поиска не проводилось. Написание оправдания вроде «литературные достоинства» над итоговой строкой «Я <сердечко> Библию» — это искажение исторической правды о том, как эта строка вообще там оказалась, все равно что продавать кошачье молоко под видом коровьего. Итоговая строка появилась вовсе не оттуда. Изначально к этому выводу привело совсем не это.

Если вы искренне подвергаете свой вывод критике, способной его опровергнуть — если критика действительно обладает такой силой, — тогда это меняет «реальный алгоритм, стоящий за» вашим выводом. Это меняет зацепленность вашего вывода с возможными мирами. Но люди колоссально переоценивают вероятность того, что они в самом деле изменят свое мнение.

При таком обилии «непредвзятых умов» вокруг логично было бы ожидать более частого обновления убеждений.

Дайте-ка угадаю: да, вы признаёте, что изначально захотели купить ноутбук за миллион долларов, подумав: «О-о, какая блестящая штучка!». Да, вы согласны, что этот процесс принятия решений не согласуется с вашими заявленными целями. Но с тех пор вы решили, что действительно должны потратить свои деньги так, чтобы обеспечить ноутбуками как можно больше обделенных ими бедолаг. И всё же вы просто не смогли найти более эффективного способа сделать это, кроме покупки усыпанного