Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Остерегайтесь злоупотреблять понятием фильтрации свидетельств как Универсальным контраргументом для исключения любых неприятных вам свидетельств: «Этот аргумент был отфильтрован, следовательно, я могу его проигнорировать». Если вас раздражает противоположный аргумент, значит, вы знакомы с вопросом и вы достаточно неравнодушны, чтобы занять одну из сторон. Вероятно, вы уже знаете самые сильные аргументы своей стороны. У вас нет причин выводить из противоположного аргумента существование каких-то новых благоприятных знаков и предзнаменований, которых вы еще не видели. Так что вы остаетесь один на один с неудобными фактами как таковыми; синий штамп на коробке Б — это всё еще свидетельство.

Но если вы слышите аргумент впервые, причем только с одной стороны, то вам действительно стоит насторожиться! В каком-то смысле никто не может по-настоящему доверять теории естественного отбора, пока не послушает креационистов минут пять; и только тогда поймёт, насколько она прочна.

*

72. Рационализация.

В «Итоговой строке» я представил дилемму двух коробок, только в одной из которых лежит алмаз, и различные знаки и знамения в качестве улик. Я противопоставил любознательного исследователя ловкому спорщику. Любознательный исследователь выписывает все знаки и знамения, анализирует их и в самом конце пишет: «Следовательно, я оцениваю вероятность того, что алмаз находится в коробке Б, в 85%». Ловкий спорщик работает на того, кто больше заплатит; он начинает с того, что пишет: «Следовательно, алмаз находится в коробке Б», а затем подбирает благоприятные знаки и знамения, чтобы заполнить ими строки выше.

Первая процедура — это рациональность. Вторая процедура обычно называется «рационализацией».

«Рационализация». Какой странный термин. Я бы назвал его неудачным словом. Нельзя «рационализировать» то, что изначально не является рациональным. Это все равно как если бы ложь называли «истинизацией».

На чисто вычислительном уровне существует довольно большая разница между:

Движением от свидетельств с последующим просчетом вероятностных потоков для вывода наиболее вероятного заключения. (Записать все знаки и знамения, а затем двигаться вперед к вероятности в итоговой строке, которая зависит от этих знаков и знамений.)

Движением от готового вывода с последующим просчетом вероятностных потоков для подбора свидетельств, которые якобы этот вывод подтверждают. (Записать итоговую строку, а затем двигаться в обратном направлении, подбирая знаки и знамения для заполнения строк выше.)

Какой глупец придумал настолько похожие слова — «рациональность» и «рационализация», — чтобы описать столь разительно отличающиеся ментальные процессы? Я бы предпочел термины, которые делают алгоритмическую разницу очевидной, например: «рациональность» против «гигантской засасывающей когнитивной черной дыры».

Не всякое изменение — это улучшение, но всякое улучшение — это обязательно изменение. Нельзя добавить истинности уже заданному суждению, отстаивая его; можно заставить больше людей поверить в него, но нельзя сделать его более истинным. Чтобы улучшить наши убеждения, мы неизбежно должны их менять. Рациональность — это операция, которую мы используем для повышения точности наших убеждений путем их изменения. Рационализация же стремится зафиксировать убеждения; её правильнее было бы назвать «антирациональностью» — как из-за её прагматических результатов, так и из-за её обращенного алгоритма.

«Рациональность» — это прямой поток, который собирает свидетельства, взвешивает их и выдает заключение. Любознательный исследователь использовал алгоритм прямого потока: сначала он собрал свидетельства, составив список всех видимых знаков и знамений, которые затем обработал в прямом направлении, чтобы получить ранее неизвестную вероятность нахождения алмаза в коробке. Всё то время, пока процесс рационального мышления двигался вперед, любознательный исследователь еще не знал конечного пункта назначения, и именно поэтому он был любознателен. На Пути Байеса априорная вероятность равна ожидаемой апостериорной вероятности: если вы знаете пункт назначения, вы уже там.

«Рационализация» — это обратный поток, идущий от вывода к отобранным свидетельствам. Сначала вы записываете итоговую строку, которая известна и фиксирована; цель вашей обработки данных — выяснить, какие аргументы следует вписать в строки выше. Именно это, а не итоговая строка, является неизвестной переменной для запущенного процесса.

Боюсь, Традиционная Рациональность не прививает своим последователям достаточной чувствительности к разнице между прямым и обратным потоками. В Традиционной Рациональности нет ничего плохого в том, что ученый приходит к излюбленной гипотезе, а затем отправляется искать подтверждающий ее эксперимент. Традиционный рационалист посмотрел бы на это с одобрением и сказал: «Эта гордость — двигатель, который толкает Науку вперед». Что ж, это действительно двигатель, который толкает Науку вперед. Проще найти обвинителя и защитника, предвзятых в противоположных направлениях, чем одного непредвзятого человека.

Но то, что так поступают все, еще не делает это правильным. Было бы гораздо лучше, если бы ученый, придя к излюбленной гипотезе, решил проверить её из чистого любопытства — ставя эксперименты, которые могли бы направить его собственные убеждения в неизвестном направлении.

Если вы искренне не знаете, куда направляетесь, вам, скорее всего, будет очень любопытно. Любопытство — первая добродетель, без которой ваше вопрошание будут бесцельными, а ваши навыки — лишенными направления.

Почувствуйте течение Силы и убедитесь, что она не течет в обратную сторону.

*

73. Рациональный аргумент.

По профессии вы руководитель избирательной кампании, и вас только что нанял Мортимер К. Снодграсс, кандидат в мэры Гедлиберга от партии «зелёных». Как руководитель кампании, читающий книгу по рациональности, вы в первую очередь задаётесь вопросом: «Как мне построить безупречный рациональный аргумент в пользу того, что Мортимер К. Снодграсс — лучший кандидат в мэры Гедлиберга?»

Сожалею. Это невозможно.

«Что? — восклицаете вы. — Но что, если я буду использовать только веские доводы для построения своих логических выкладок? Что, если каждый приводимый мною факт будет истинным, насколько мне известно, и будет являться релевантным свидетельством по правилу Байеса?»

Сожалею. Всё равно невозможно. Вы обрекли себя на поражение в тот самый миг, когда заранее определили вывод своего аргумента.

В этом году газета «Гедлибергский рупор» разослала всем кандидатам в мэры опросник из 16 пунктов с вопросами вроде «Умеете ли вы рисовать всеми цветами ветра?» и «Затягивались ли вы?» Увы, редакция «Рупора» оказалась уничтожена метеоритом ещё до публикации. Очень жаль, ведь ваш кандидат, Мортимер К. Снодграсс, выгодно отличается от соперников в 15 вопросах из 16. Единственным камнем преткновения стал вопрос №11: «Являетесь ли вы сейчас или являлись ли когда-либо суперзлодеем?»

И у вас возникает искушение опубликовать этот опросник в рамках собственной агитации... разумеется, опустив одиннадцатый вопрос.

Это переступает черту