Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если вы не назовете мне сумму двух чисел, но сообщите, что на первой кости выпало 6, это пока ничего не скажет мне о результате на второй кости. Но если вы теперь также скажете, что сумма равна 7, я буду знать, что на второй кости выпала 1.

Выяснение того, когда различные элементы информации зависимы или независимы друг от друга при тех или иных фоновых знаниях, на самом деле оказывается весьма технической темой. Книги, которые стоит прочесть, — это работа Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода»1 и «Причинность: модели, рассуждения и выводы».2 (Если у вас есть время прочесть только одну книгу, прочтите первую.)

Если вы умеете читать причинно-следственные графы, то вы посмотрите на граф бросков костей и сразу увидите:

P(Кость 1, Кость 2) = P(Кость 1) × P(Кость 2)

P(Кость 1, Кость 2|Сумма) ≠ P(Кость 1|Сумма) × P(Кость 2|Сумма)

Если вы посмотрите на правильную диаграмму с тротуаром, то увидите такие факты, как:

P(Скользкий|Ночь) ≠ P(Скользкий)

P(Скользкий|Разбрызгиватель) ≠ P(Скользкий)

P(Скользкий|Ночь, Разбрызгиватель) = P(Скользкий|Разбрызгиватель).

То есть вероятность того, что тротуар Скользкий при наличии информации о Разбрызгивателе и о Ночи, совпадает с вероятностью, которую мы бы приписали, знай мы только о Разбрызгивателе. Знание о Разбрызгивателе делает знание о Ночи несущественным для выводов о Скользкости.

Это явление называется экранированием, а критерий, позволяющий считывать подобную условную независимость с каузальных графов, известен как D-разделение.

Для случая аргументов и авторитета причинно-следственная диаграмма выглядит следующим образом:

Если нечто истинно, то в его пользу, как правило, находятся аргументы, и поэтому эксперты наблюдают эти свидетельства и меняют свое мнение. (В теории!)

Если мы видим, что эксперт во что-то верит, мы делаем обратный вывод о существовании неких абстрактных свидетельств (даже если не знаем в точности, каковы они), а из существования этих абстрактных свидетельств мы заключаем об истинности утверждения.

Но если нам известно значение узла «Аргумент», это D-разделяет узел «Истина» и узел «Вера эксперта», блокируя все пути между ними в соответствии с определенными техническими критериями «блокирования путей», которые в данном случае кажутся довольно очевидными. Таким образом, даже не сверяясь с точным распределением вероятностей, мы можем считать по графу, что:

P(истина|аргумент, эксперт) = P(истина|аргумент).

Это не противоречит обычной теории вероятностей. Это просто более компактный способ выражения определенных вероятностных фактов. Те же равенства и неравенства можно было бы считать непосредственно из обычного распределения вероятностей — но «на глазок» заметить их было бы труднее. Авторитету и аргументу не требуются два разных вида вероятности — так же, как разбрызгиватели не сделаны из какой-то онтологически иной материи, нежели солнечный свет.

На практике вы никогда не сможете полностью перестать полагаться на авторитет. Признанные авторитеты с большей вероятностью знают о существующих контраргументах, которые следует принять во внимание; менее авторитетные специалисты знают об этом с меньшей вероятностью, что делает их аргументы менее надежными. Этот фактор невозможно устранить просто за счет ознакомления со свидетельствами, которые они действительно учли.

Кроме того, аргументы крайне сложно свести к чистой математике; в противном же случае оценка силы логического шага может опираться на интуицию, которую невозможно воспроизвести без тех же тридцати лет опыта.

Есть неустранимая правомерность в том, чтобы приписывать чуть более высокую вероятность словам Э. Т. Джейнса о байесовской вероятности, нежели аналогичному утверждению Элиезера Юдковского. Пятьдесят лет дополнительного опыта не должны иметь буквально нулевой вес.

Но этот перевес авторитета имеет силу лишь ceteris paribus, и его легко могут перевесить более сильные аргументы. Я обнаружил небольшую ошибку в одной из книг Джейнса — потому что алгебра бьет авторитет.

*

1. Перл, Probabilistic Reasoning in Intelligent Systems.

2. Джуда Перл, Causality: Models, Reasoning, and Inference, 2nd ed. (New York: Cambridge University Press, 2009).

64. Обнимите вопрос.

В искусстве рациональности есть дисциплина близости к сути — стремление искать свидетельства, которые находятся как можно ближе к исходному вопросу, чтобы они экранировали как можно больше других аргументов.

Братья Райт говорят: «Наш самолёт полетит». Если вы посмотрите на их авторитет (велосипедные мастера, которые по совместительству оказались отличными физиками-любителями), то сравните их авторитет с авторитетом, скажем, лорда Кельвина и обнаружите, что лорд Кельвин — куда больший авторитет.

Если вы потребуете показать расчёты братьев Райт и сможете в них разобраться, а затем потребуете показать расчёты лорда Кельвина (которых у него, скорее всего, нет вовсе, кроме его собственного неверия), то авторитет отойдёт на второй план.

Если же вы своими глазами увидите, как самолёт летит, сами расчёты во многих отношениях утратят значение, а авторитет Кельвина даже не будет стоить рассмотрения.

Чем прямее ваши аргументы относятся к вопросу, без промежуточных выводов — чем ближе наблюдаемые узлы к запрашиваемому узлу в Великой Паутине Причинности — тем сильнее свидетельство. Теорема о таких причинно-следственных графах гласит, что вы никогда не сможете получить больше информации из далёких узлов, чем из строго более близких, которые экранируют далёкие.

Джерри Кливер сказал: «Вас губит не то, что вы не смогли применить какой-то высокоуровневый, тонкий, сложный приём. Вас губит невнимание к основам. То, что вы не следите за мячом»1.

Точно так же, как спорить о физике лучше, чем спорить о регалиях, спорить о физике лучше, чем спорить о рациональности. Кто был более рационален: братья Райт или лорд Кельвин? Если мы можем проверить их расчёты, нам всё равно! Добродетель рационалиста не может напрямую заставить самолёт лететь.

Если вы забудете этот принцип, изучение новых когнитивных искажений пойдёт вам во вред, потому что это отвлечёт вас от более прямых аргументов. Слишком легко заявить, будто оппонент демонстрирует Искажение № 182 из вашего репертуара универсальных обвинений, но вы не сможете разрешить фактический спор без более близких свидетельств. Если у кого-то есть предвзятые причины утверждать, что светит солнце, на улице от этого не темнеет.

Точно так же, как вы не всегда можете поставить эксперимент прямо сегодня, вы не всегда можете прямо сегодня проверить расчёты. Иногда вам не хватает базовых знаний, иногда какая-то информация закрыта, иногда просто нет времени. К сожалению, слишком часто приходится судить о рациональности самого говорящего. Однако делать это всегда следует с чувством пустоты в груди, с ощущением, что чего-то не хватает.

Всякий раз, когда можете,