Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="p">Современные исследования показывают, что люди мыслят категориями причин и следствий, используя нечто похожее на направленные ациклические графы (НАГ) байесовских сетей. Из-за того, что пошёл дождь, тротуар мокрый; из-за того, что тротуар мокрый, он скользкий:

Из этого мы можем сделать вывод — или, в байесовской сети, строго рассчитать на языке вероятностей, — что если тротуар скользкий, то, скорее всего, прошёл дождь; но если мы уже знаем, что тротуар мокрый, то известие о том, что он скользкий, не сообщает нам ничего нового о том, шёл ли дождь.

Почему огонь горячий и яркий, когда он горит?

Это ощущается как объяснение. Оно представлено в том же когнитивном формате данных. Но человеческий разум не способен автоматически распознавать случаи, когда причина связана со следствием ни к чему не обязывающей стрелкой. Хуже того, из-за ошибки послезнания может показаться, будто причина предопределяет следствие, тогда как на самом деле её просто подогнали под результат.

Интересно, что наше современное понимание вероятностных рассуждений о причинно-следственных связях позволяет точно описать, в чём именно заблуждались сторонники теории флогистона. Одним из главных стимулов к созданию байесовских сетей послужило обнаружение проблемы двойного учёта свидетельств, когда логический вывод циркулирует между следствием и причиной. Допустим, к примеру, я получаю не совсем надёжную информацию о том, что тротуар мокрый. Это должно заставить меня подумать, что вероятность дождя выше. Но если вероятность дождя выше, разве это не увеличивает вероятность того, что тротуар мокрый? И разве это не увеличивает вероятность того, что тротуар скользкий? Но если тротуар скользкий, то он, скорее всего, мокрый; и тогда мне следует снова повысить вероятность того, что идёт дождь . . .

Джуда Перл приводит метафору алгоритма для подсчёта солдат в строю.1 Представьте, что вы стоите в строю и видите рядом с собой двух солдат: одного впереди, другого сзади. Вместе с вами это три солдата. Вы спрашиваете стоящего позади: «Сколько солдат видишь ты?» Тот оглядывается и отвечает: «Троих». Получается в сумме шесть солдат. Очевидно, не так это делается.

Более разумный способ — спросить у солдата впереди: «Сколько солдат впереди тебя?», а у солдата позади: «Сколько солдат позади тебя?». Вопрос «Сколько солдат впереди?» можно передавать по цепочке без всякой путаницы. Если я стою в самом начале строя, я передаю сообщение «1 солдат впереди» (считая себя). Человек прямо за мной получает сообщение «1 солдат впереди» и передает сообщение «2 солдата впереди» стоящему за ним. В то же время каждый солдат также получает сообщение «N солдат позади» от стоящего сзади и передает его как «N + 1 солдат позади» стоящему впереди. Сколько солдат всего? Сложите два полученных числа и прибавьте единицу за себя — это и будет общее число солдат в строю.

Ключевая идея заключается в том, что каждый солдат должен отдельно отслеживать два сообщения — «впереди» и «позади» — и складывать их только в самом конце. Вы никогда не должны прибавлять солдат из полученного сообщения «позади» к сообщению «впереди», которое передаёте назад. Более того, общее число солдат никогда не передаётся в качестве сообщения — никто никогда не произносит его вслух.

Аналогичный принцип действует и в строгих вероятностных рассуждениях о причинно-следственных связях. Если вы узнаёте что-то о том, идёт ли дождь, из какого-то источника, отличного от наблюдения за мокрым тротуаром, это отправит прямое сообщение от «Дождя» к «Мокрому тротуару» и повысит наши ожидания увидеть тротуар мокрым. Если вы замечаете, что тротуар мокрый, это отправляет обратное сообщение к нашей убеждённости в том, что идёт дождь, и это сообщение распространяется от «Дождя» ко всем соседним узлам, за исключением «Мокрого тротуара». Мы учитываем каждое свидетельство ровно один раз; ни одно сообщение об обновлении данных никогда не «скачет» туда-сюда. Точный алгоритм можно найти в классическом труде Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода».

Так что же пошло не так в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел «Огонь» может отправить обратное свидетельство к узлу «Флогистон», побуждая нас обновить наши убеждения о флогистоне. Но если так, мы не можем засчитать это как успешное прямое предсказание теории флогистона. Сообщение должно идти только в одном направлении и не должно возвращаться назад.

Увы, люди не используют строгий алгоритм для обновления сетей убеждений. Мы узнаём о родительских узлах, наблюдая за дочерними, и предсказываем дочерние узлы на основе убеждений о родительских. Но мы не ведём строгого раздельного учёта для обратных и прямых сообщений. Мы просто помним, что флогистон горячий, и это приводит к тому, что огонь горячий. И поэтому кажется, будто теория флогистона предсказывает горячесть огня. Или, что ещё хуже, возникает простое ощущение, что флогистон делает огонь горячим.

Пока вы не заметите, что никаких заблаговременных предсказаний не делается, причинный узел, не накладывающий ограничений, не помечается как «фальшивый». Он представлен точно так же, как и любой другой узел в вашей сети убеждений. Он ощущается как факт, подобно всем остальным известным вам фактам: Флогистон делает огонь горячим.

Правильно спроектированный ИИ заметил бы эту проблему мгновенно. Для этого даже не потребовался бы специализированный код — достаточно лишь правильного ведения учёта в сети убеждений. (К сожалению, мы, люди, не можем переписать собственный код так, как это мог бы сделать правильно спроектированный ИИ).

Разговоры об «ошибке послезнания» — это просто ненаучный способ сказать, что люди не разделяют строго прямые и обратные сообщения, позволяя прямым сообщениям искажаться обратными.

Те, кто давным-давно пошёл по пути флогистона, вовсе не стремились быть глупцами. Ни один учёный не хочет намеренно зайти в тупик. Есть ли какие-то фальшивые объяснения в вашем уме? Если да, я гарантирую, что они не помечены ярлыком «фальшивое объяснение», так что поиск в ваших мыслях по ключевому слову «фальшивый» их не обнаружит.

Из-за ошибки послезнания также недостаточно проверять, насколько хорошо ваша теория «предсказывает» уже известные вам факты. Вы должны делать предсказания на завтра, а не на вчера. Это единственный способ, позволяющий хаотичному человеческому разуму гарантированно отправить чистое прямое сообщение.

*

1. Джуда Перл, Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (San Mateo, CA: Morgan Kaufmann, 1988).

34. Семантические стоп-сигналы. И дитя спросило: В: Откуда взялся этот камень? О: Я отколол его от большого валуна в центре деревни. В: Откуда взялся валун? О: