Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

помладше, в шеренгу и предложил такую игру: мальчик, стоящий в конце шеренги, должен проползти у нас между ног, а мы будем шлепать его, пока он ползет, после чего настанет очередь следующего восьмилетнего мальчика с конца. (Возможно, дело просто в том, что я утратил детскую невинность, но я невольно задаюсь вопросом...) Я отказался играть в эту игру, и мне велели идти сидеть в углу.

Это воспоминание — об отказе шлепать и быть отшлепанным — стало для меня символом того, что даже в столь раннем возрасте я не желал находить радость в причинении боли другим. Что я не собирался покупать право шлепнуть чужую задницу ценой шлепка по собственной; не собирался платить своей болью за возможность причинить боль другому. Я отказался играть в игру с отрицательной суммой.

И тут, в возрасте пятнадцати лет, я внезапно понял, что все это неправда. Я отказался вовсе не из принципиального неприятия игр с отрицательной суммой. О «дилемме заключенного» я узнал довольно рано, но все же не в семь лет. Я отказался просто потому, что не хотел, чтобы мне было больно, а посидеть в углу казалось приемлемой ценой за то, чтобы избежать боли.

И что еще важнее, я понял, что всегда это знал — что настоящее воспоминание всегда таилось в уголке моего разума, и я лишь на долю секунды бросал на него мысленный взор, а затем поспешно отводил взгляд.

Сделав свой самый первый шаг по Пути, я уловил это ощущение — обобщил этот субъективный опыт — и сказал себе: «Так вот каково это — запихивать неудобную правду в дальний угол ума! Теперь я буду замечать каждый раз, когда так делаю, и вычищу все свои углы!»

Эту дисциплину я назвал одномыслием, по аналогии с оруэлловским двоемыслием. При двоемыслии забываешь, а затем забываешь, что забыл. При одномыслии замечаешь, что забываешь, и тогда вспоминаешь. В уме одновременно удерживается лишь одна непротиворечивая мысль.

«Одномыслие» стало моим первым новым навыком рационалиста, о котором я не читал в книгах. Сомневаюсь, что оно оригинально с точки зрения академического приоритета, но этого, к счастью, и не требуется.

Да, и ещё: в свои пятнадцать лет я очень любил давать всему названия.

Пугающие глубины предвзятости подтверждения кажутся бездонными. Не бесконечно — ведь мозг обладает конечной сложностью, — но достаточно долго, чтобы казаться бесконечными. Вы продолжаете обнаруживать (или читать о них) всё новые механизмы, с помощью которых ваш мозг отпихивает мешающие вещи с дороги.

Но юный я вымел немало углов той своей первой метлой.

*

82. Двоемыслие (Выбор в пользу предвзятости).

В пальцах О’Брайена появился продолговатый обрывок газеты. Секунд пять он находился в поле зрения Уинстона. Это была фотография, и сомнений в том, что это такое, быть не могло. Та самая фотография. Другой экземпляр снимка Джонса, Ааронсона и Резерфорда на партийном празднестве в Нью-Йорке, который случайно попался ему одиннадцать лет назад и который он тут же уничтожил. Лишь на мгновение она возникла перед его глазами и снова скрылась из виду. Но он её видел, несомненно видел! Он сделал отчаянное, мучительное усилие, чтобы высвободить верхнюю половину тела. Сдвинуться хотя бы на сантиметр было невозможно. В эту минуту он забыл даже о шкале. Ему хотелось только одного: снова подержать фотографию в руках или хотя бы посмотреть на неё.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он прошёл через комнату.

В противоположной стене было гнездо памяти. О’Брайен приподнял заслонку. Хрупкий листок бумаги, никем не видимый, уносило потоком тёплого воздуха; он исчез в яркой вспышке пламени. О’Брайен повернулся от стены.

— Пепел, — сказал он. — Даже не пепел, который можно опознать. Пыль. Её не существует. Её никогда не существовало.

— Но она существовала! Она существует! Она существует в памяти. Я помню её. И вы её помните.

— Я её не помню, — сказал О’Брайен.

У Уинстона упало сердце. Это и было двоемыслие. Его охватило чувство смертельного бессилия. Будь он уверен, что О’Брайен лжёт, это казалось бы не столь важным. Но было вполне возможно, что О’Брайен действительно забыл о фотографии. А если так, то он уже забыл и о том, как отрицал, что помнит её, и забыл сам акт забывания. Как можно быть уверенным, что это просто уловка? Быть может, это безумное смещение в мозгу действительно возможно — именно эта мысль и сокрушила его.

— Джордж Оруэлл, 19841

Что, если самообман помогает нам быть счастливыми? Что, если попытка взять и преодолеть предвзятость сделает нас — о ужас! — несчастными? Конечно, истинная мудрость заключалась бы в рациональности второго порядка — в умении выбирать, когда быть рациональным. Таким образом, вы могли бы решать, какие когнитивные искажения должны вами управлять, чтобы максимизировать ваше счастье.

Если оставить в стороне вопросы морали, я сомневаюсь, что подобное безумное смещение в мозгу действительно возможно.

Рациональность второго порядка подразумевает, что в какой-то момент вы подумаете про себя: «А теперь, чтобы порадовать себя, я буду иррационально верить, что выиграю в лотерею». Но мы не можем напрямую контролировать свои убеждения. Вы не можете усилием воли заставить себя поверить, что небо зелёное. Вы могли бы заставить себя поверить, будто верите в это, — хотя я только что усложнил вам задачу, указав на разницу. (Не за что!) Вы могли бы даже верить, будто счастливы и обманываете себя, но вы бы не были счастливы и обмануты на самом деле.

Чтобы рациональность второго порядка была по-настоящему рациональной, вам сначала понадобилась бы хорошая модель реальности, чтобы экстраполировать последствия рациональности и иррациональности. Если бы вы затем решили стать иррациональным первого порядка, вам пришлось бы забыть эту точную картину. А затем забыть сам акт забывания. Не хотелось бы совершать логическую ошибку обобщения на основе вымышленных свидетельств, но, думаю, Оруэлл отлично показал, куда ведёт этот путь.

Вы не можете знать последствий своей предвзятости, пока уже не избавитесь от неё. А тогда для самообмана становится слишком поздно.

Другая альтернатива — вслепую решить оставаться предвзятым, не имея чёткого представления о последствиях. Это не рациональность второго порядка. Это намеренная глупость.

Будьте иррационально оптимистичны по поводу своих навыков вождения, и вы будете блаженно беззаботны там, где другие обливаются потом и боятся. Вам не придётся мириться с неудобством ремня безопасности. Вы будете блаженно беззаботны день,