Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

существуют свидетельства того, что Бог действительно существует, а скорее потому, что они не хотят ассоциироваться с Ричардом Докинзом или этими чертовыми «воинствующими» атеистами, которые публично заявляют, будто «Бога нет».

Если ваш нынешний компьютер перестал работать, нельзя делать вывод, что в этой системе неверно абсолютно всё и вам нужен новый компьютер без процессора AMD, видеокарты ATI, жесткого диска Maxtor и корпусных вентиляторов — даже если все эти детали есть в вашей нынешней неработающей системе. Возможно, вам просто нужен новый кабель питания.

Если сотне изобретателей не удалось построить летательные аппараты из металла, дерева и холста, отсюда не следует, что на самом деле вам нужен летательный аппарат из плоти и костей. Если тысяча проектов потерпела неудачу в создании искусственного интеллекта на основе вычислений на электричестве, это не значит, что корень проблемы кроется в самом электричестве. Пока вы не поймете суть проблемы, попытки действовать от противного в надежде на чудо вряд ли приведут к решению.

*

1. Генри Бим Пайпер, «Полицейская операция», Astounding Science Fiction (июль 1948 г.).

2. Роберт М. Пирсиг, «Дзен и искусство ухода за мотоциклом», 1-е изд. (Нью-Йорк: Morrow, 1974).

63. Аргумент экранирует авторитет.

Сценарий 1: Барри — известный геолог. Чарльз — четырнадцатилетний правонарушитель с длинным списком арестов и периодическими психотическими эпизодами. Барри безапелляционно заявляет Артуру некое контринтуитивное утверждение о горных породах, и Артур оценивает его вероятность в 90%. Затем Чарльз делает столь же контринтуитивное и безапелляционное заявление о горных породах, и Артур оценивает его вероятность в 10%. Очевидно, что Артур принимает во внимание авторитет говорящего, решая, верить ли его утверждениям.

Сценарий 2: Дэвид делает контринтуитивное заявление о физике и дает Артуру подробное объяснение аргументов, включая ссылки. Эрни делает столь же контринтуитивное заявление, но приводит неубедительный аргумент, требующий нескольких допущений на веру. И Дэвид, и Эрни утверждают, что это лучшее объяснение, которое они в принципе могут дать (кому бы то ни было, а не только Артуру). Артур присваивает утверждению Дэвида вероятность 90%, выслушав его объяснение, но присваивает лишь 10%-ную вероятность утверждению Эрни.

Может показаться, что эти два сценария примерно симметричны: оба предполагают учет полезных свидетельств — будь то сильный авторитет против слабого или сильный аргумент против слабого.

Но теперь предположим, что Артур просит Барри и Чарльза представить полные технические обоснования со ссылками; и что Барри и Чарльз представляют одинаково хорошие обоснования, а Артур проверяет ссылки, и они подтверждаются. Затем Артур спрашивает Дэвида и Эрни об их квалификации, и оказывается, что у Дэвида и Эрни примерно одинаковая квалификация — может быть, они оба клоуны, а может, оба физики.

Если предположить, что Артур обладает достаточными знаниями, чтобы понять все технические аргументы (иначе они для него — просто впечатляющий шум), то кажется, что Артур должен видеть у Дэвида огромное преимущество в правдоподобности перед Эрни, в то время как преимущество Барри перед Чарльзом будет в лучшем случае незначительным.

В самом деле, если технические аргументы достаточно хороши, преимущество Барри перед Чарльзом, возможно, даже не стоит учитывать. Хороший технический аргумент — это тот, который устраняет необходимость полагаться на личный авторитет говорящего.

Точно так же, если мы действительно верим Эрни, что приведенный им аргумент — это лучший аргумент, который он мог предоставить, и что он включает в себя все логические шаги, которые проделал Эрни, и все подтверждения, которые он принял во внимание (включая ссылки на любые авторитеты, к которым сам Эрни мог прислушиваться), тогда мы можем практически проигнорировать любую информацию о квалификации Эрни. Эрни может быть физиком или клоуном, это не должно иметь значения. (Опять же, это предполагает, что у нас достаточно технических способностей, чтобы разобраться в аргументе. В противном случае Эрни просто произносит мистические слоги, и то, «верим» ли мы этим слогам, в значительной степени зависит от его авторитета.)

Таким образом, между аргументом и авторитетом, похоже, существует асимметрия. Если нам известен авторитет, нам всё ещё интересно услышать аргументы; но если мы полностью знаем аргументы, из авторитета нам уже почти нечего почерпнуть.

Очевидно (говорит новичок), авторитет и аргумент — это принципиально разные виды свидетельств, и эту разницу невозможно объяснить с помощью скучно-чистых методов байесовской теории вероятностей. Ведь хотя сила свидетельств — 90% против 10% — в обоих случаях одинакова, при объединении они ведут себя по-разному. Как мы это объясним?

Вот половина технической демонстрации того, как представить эту разницу в теории вероятностей. (Остальное вы можете принять под мой личный авторитет или посмотреть в источниках).

Если P(H|E1) = 90% и P(H|E2) = 9%, какова вероятность P(H|E1,E2)? Если, узнав, что E1 истинно, мы присваиваем H вероятность 90%, а узнав, что истинно E2, — вероятность 9%, то какую вероятность нам следует присвоить H, если мы узнаем, что истинны оба события E1 и E2? Исходя из предоставленной информации, это просто невозможно вычислить средствами теории вероятностей. Нет, недостающая информация — это не априорная вероятность H. События E1 и E2 могут не быть независимыми друг от друга.

Предположим, что H означает «Мой тротуар скользкий», E1 — «Мой разбрызгиватель работает», а E2 — «Сейчас ночь». Тротуар становится скользким через минуту после включения разбрызгивателя и остается таким, пока он не выключится, а сам разбрызгиватель работает десять минут. Таким образом, если мы знаем, что разбрызгиватель включен, вероятность того, что тротуар скользкий, равна 90%. Разбрызгиватель работает в течение 10% ночного времени, поэтому если мы знаем, что сейчас ночь, вероятность того, что тротуар скользкий, составляет 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть знаем оба факта, — вероятность того, что тротуар скользкий, составляет 90%.

Мы можем представить это в виде графической модели следующим образом:

То, ночь сейчас или нет, служит причиной включения или выключения Разбрызгивателя, а то, включен ли Разбрызгиватель, служит причиной того, будет ли тротуар Скользким или Нескользким.

Направление стрелок имеет значение. Представим, что у нас было бы так:

Это означало бы, что если бы я не знал ничего о разбрызгивателе, вероятности Ночи и Скользкости были бы независимы друг от друга. Например, предположим, что я бросаю Кость Один и Кость Два и складываю выпавшие числа, чтобы получить