Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

спорили испокон веков, пытаясь разбить все доводы противника и не оставляя ему ни малейшей зацепки. Люди хотят, чтобы споры были односторонними; они привыкли к миру, где их любимые теории не имеют ни йоты противоречащих аргументов. Поэтому допустить хотя бы одно вероятностное контрсвидетельство для них равносильно концу света.

Я прямо-таки знаю, что кто-то в аудитории скажет: «Но вы не можете уступить ни единого пункта, если хотите выигрывать споры в реальном мире! Стоит вам признать существование хоть каких-то контраргументов, как Враг будет твердить о них снова и снова — нельзя позволять Врагу делать это! Вы же проиграете! Что может вызывать больший животный страх, чем это?»

Как бы то ни было. Рациональность нужна не для того, чтобы побеждать в спорах, а для того, чтобы решить, к какой стороне примкнуть. Если вы уже решили, какую сторону защищать, работа рациональности внутри вас уже завершена — хорошо ли, плохо ли. Но как вам самому решить, какую сторону защищать? Если выбор неверной стороны пугает вас до глубины души, пусть даже самую малость, вам лучше учесть все свидетельства.

Рациональность — это не прогулка, а танец. На каждом шаге этого танца ваша нога должна опускаться точно в нужное место, ни левее, ни правее. Сдвигать уверенность вверх с каждой йотой подтверждающего свидетельства. Сдвигать уверенность вниз с каждой йотой опровергающего свидетельства. Да, вниз. Даже при правильной модели, если она не является абсолютно точной, вам иногда придётся корректировать свою уверенность вниз.

Если пара йот свидетельств противоречит вашему убеждению, ничего страшного. Такое иногда случается с вероятностными свидетельствами для неточных теорий. (Если же ошибается точная теория, у вас действительно проблемы!) Просто немного сдвиньте свою уверенность вниз — вероятность, отношение шансов или даже невербальный вес уверенности в вашей голове. Просто сдвиньте немного вниз и ждите новых свидетельств. Если теория верна, подтверждающие свидетельства вскоре появятся, и вероятность снова поползёт вверх. Если же теория неверна, она вам всё равно не нужна.

Проблема черно-белого, бинарного, качественного мышления в том, что любое единичное наблюдение либо уничтожает теорию, либо нет. Когда не допускается ни одного противоречащего наблюдения, это создаёт когнитивный диссонанс, и от него приходится отмахиваться с помощью софистики. А это исключает постепенный прогресс, исключает правильную интеграцию всех свидетельств. Рассуждая вероятностно, мы понимаем, что в среднем верная теория порождает больший вес подтверждений, чем опровержений. И поэтому вы можете без страха сказать себе: «Это слегка противоречащее свидетельство, я сдвину свою уверенность вниз». Да, вниз. Это не уничтожит вашу любимую теорию. Так работает качественное мышление; думайте количественно.

Для каждого ожидания свидетельства существует равное ему и противоположное ожидание контрсвидетельства. В каждом случае в среднем вы должны ожидать корректировки своих убеждений вниз в той же степени, в какой вы ожидаете их корректировки вверх. Если вы считаете, что уже знаете, какое свидетельство поступит, то вы уже должны быть достаточно уверены в своей теории — вероятность близка к 1, что не оставляет много места для дальнейшего роста вероятности вверх. И каким бы маловероятным ни казалось получение опровергающих свидетельств, итоговый сдвиг вниз должен быть достаточно большим, чтобы точно сбалансировать ожидаемый выигрыш с другой стороны. Взвешенное среднее вашей ожидаемой апостериорной вероятности должно быть равно вашей априорной вероятности.

Как глупо в таком случае бояться корректировать свою вероятность вниз, если уж вы вообще взялись исследовать этот вопрос? В среднем от каждого отдельного наблюдения вы должны ожидать такого же сдвига вниз, как и сдвига вверх.

Может случиться так, что одна за другой будут поступать крупицы опровержений, в то время как новые подтверждения будут прибывать слишком медленно. Вы можете обнаружить, что ваша уверенность дрейфует вниз и всё дальше вниз. Пока, наконец, вы не поймёте, с какой стороны дует ветер свидетельств, направленный против вас. В этот момент осознания нет смысла придумывать оправдания. В этот момент осознания вы уже отказались от своего заветного убеждения. Ура! Время праздновать! Открывайте шампанское или заказывайте пиццу! В конце концов, вы не станете сильнее, держась за убеждения, с которых начинали.

*

69. Один довод против целой армии.

Я уже говорил о таком стиле рассуждений, при котором не допускается ни один противоположный аргумент, из-за чего каждое противоречащее наблюдение приходится как-то оспаривать. Здесь же я хочу предположить, что, сталкиваясь с противоположным доводом, люди не дают себе снизить уверенность, прокручивая в голове уже известные им подтверждения.

Представьте, что в стране Фридония спорят о том, виновна ли её соседка Сильвания в недавней череде падений метеоритов на фридонийские города. На это указывают несколько улик: метеориты упали в городах у самой границы с Сильванией; на сильванском фондовом рынке перед ударами наблюдалась необычная активность; а кто-то слышал, как сильванский посол Трентино бормотал о «небесном возмездии».

Кто-то приходит к вам и говорит: «Я не думаю, что Сильвания причастна к падению метеоритов. Они ведут с нами торговлю на миллиарды динаров ежегодно». — «Ну», — отвечаете вы, — «метеориты упали вблизи Сильвании, на их фондовом рынке творилось что-то подозрительное, а их посол после этого заговорил о небесном возмездии». Поскольку эти три аргумента перевешивают первый, вы сохраняете уверенность в виновности Сильвании — на качественном уровне вы скорее верите, чем не верите. Очевидно, что баланс свидетельств складывается против Сильвании.

Затем приходит кто-то другой и говорит: «Я не думаю, что Сильвания виновна в падении метеоритов. Направить удар астероида — задача крайне сложная. У Сильвании даже космической программы нет». Вы отвечаете: «Но ведь метеориты упали рядом с Сильванией, их инвесторы знали об этом заранее, а посол прямо во всем признался!» И снова эти три аргумента перевешивают первый (три аргумента против одного), так что вы остаётесь при своём мнении, что Сильвания виновна.

Более того, ваша убеждённость лишь окрепла. Ведь уже дважды вы взвешивали баланс свидетельств, и оба раза чаша весов склонялась против Сильвании в соотношении три к одному.

Вы сталкиваетесь со всё новыми аргументами просильванских предателей — снова, снова и ещё сотню раз — но всякий раз новый довод с лёгкостью разбивается в пух и прах со счётом три к одному. И с каждым разом вы чувствуете, как растёт ваша уверенность в виновности Сильвании, поскольку вы корректируете свою априорную вероятность в соответствии с ощущаемым перевесом свидетельств.

Проблема, конечно, в том, что, прокручивая в голове аргументы, которые вы и так уже знали, вы учитываете одни и те же свидетельства дважды.