Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Это было бы тяжким грехом, даже если бы вы дважды учли все свидетельства. (Представьте себе учёного, который провёл эксперимент на 50 испытуемых, не получил статистически значимых результатов и поэтому посчитал все данные дважды.)

Но избирательно дважды учитывать лишь некоторые свидетельства — это чистой воды фарс. Помню, в детстве я видел мультфильм, где злодей делил добычу по следующему алгоритму: «Один тебе, один мне. Один тебе, раз-два мне. Один тебе, раз-два-три мне».

Как я подчёркивал в прошлом эссе, даже если излюбленное убеждение истинно, рационалисту порой необходимо снизить его вероятность, интегрируя все свидетельства. Да, чаша весов всё ещё может склоняться в пользу вашего любимого убеждения. Но вам всё равно нужно скорректировать вероятность вниз — да, именно вниз — по сравнению с тем значением, которое было до того, как вы услышали противоположный довод. Бесполезно прокручивать в голове подтверждающие аргументы, ведь вы их уже учли.

И всё же мне кажется, что, сталкиваясь с новым контраргументом, люди ищут повод не снижать свою уверенность и, конечно же, находят подтверждающие доводы, которые и так уже знают. Мне самому приходится постоянно быть начеку, чтобы не поступать так же! Ведь это кажется столь же естественным, как парировать удар меча подвернувшимся под руку щитом.

При должном умении рассуждать неверно горстка подтверждений — или даже один-единственный аргумент — способна сдерживать натиск целой армии противоречий.

*

70. Итоговая строка.

На аукцион выставлены две запечатанные коробки, коробка A и коробка B. В одной и только в одной из этих коробок лежит ценный алмаз. Есть самые разные знаки и приметы, указывающие на то, содержит ли коробка алмаз; но у меня нет ни одного знака, о котором я точно знаю, что он абсолютно надежен. На одной коробке, например, есть синий штамп, и я знаю, что коробки с алмазами чаще оказываются с синим штампом, чем пустые. Или у одной коробки блестящая поверхность, и у меня есть подозрение — я не уверен, — что ни одна коробка с алмазом не бывает блестящей.

Теперь представьте себе ловкого спорщика с листом бумаги в руках. Он говорит владельцам коробок A и B: «Предложите цену за мои услуги, и тому, кто выиграет, я помогу доказать, что именно в его коробке лежит алмаз, чтобы цена этой коробки выросла». Владельцы делают ставки, и владелец коробки B предлагает больше, нанимая ловкого спорщика.

Ловкий спорщик начинает собираться с мыслями. Сначала он пишет в самом низу своего листа: «И следовательно, в коробке B лежит алмаз!» Затем вверху листа ловкий спорщик пишет: «На коробке B есть синий штамп», под этим — «Коробка A блестящая», затем — «Коробка B легче коробки A» и так далее, перечисляя множество знаков и примет. При этом ловкий спорщик игнорирует все те знаки, которые могли бы говорить в пользу коробки A. И вот ловкий спорщик приходит ко мне и зачитывает со своего листа: «На коробке B есть синий штамп, а коробка A блестящая», и так далее, пока не доходит до: «и следовательно, в коробке B лежит алмаз».

Но подумайте вот о чем: в тот самый момент, когда ловкий спорщик записал свой вывод, когда чернила легли на его лист бумаги, свидетельственная запутанность этих физических чернил с физическими коробками зафиксировалась навсегда.

Возможно, вам поможет, если вы представите себе множество миров — эвереттовские ветви или дубликаты Тегмарка, — в которых существует некая объективная частота, с которой коробка A или коробка B содержит алмаз. Точно так же существует некая объективная частота в подмножестве «миров с блестящей коробкой A», где коробка B содержит алмаз; и некая объективная частота в «мирах с блестящей коробкой A и синим штампом на коробке B», где коробка B содержит алмаз.

Чернила на бумаге складываются в странные закорючки и линии, которые выглядят как этот текст: «И следовательно, в коробке B лежит алмаз». Если бы вы умели читать по-английски, вы могли бы запутаться и подумать, будто эти очертания чернил каким-то образом означают, что в коробке B лежит алмаз. Испытуемые, которым поручили называть цвет напечатанных слов, когда им показывают слово «ЗЕЛЕНЫЙ», часто говорят «зеленый» вместо «красный». В таких случаях полезно быть неграмотным, чтобы форма чернильных знаков не сбивала вас с толку.

Для нас истинный смысл вещи — это её запутанность с другими вещами. Представьте снова множество миров, эвереттовские ветви или дубликаты Тегмарка. В тот момент, когда все ловкие спорщики во всех мирах выводят чернилами итоговую строку на своих листах — предположим, что это один и тот же момент, — это фиксирует корреляцию чернил с коробками. Ловкий спорщик пишет нестираемой ручкой; чернила не изменятся. Коробки не изменятся. В подмножестве миров, где чернила гласят «И следовательно, в коробке B лежит алмаз», уже есть определенный фиксированный процент миров, где алмаз лежит в коробке A. И это не изменится независимо от того, что будет написано на пустых строках выше.

Таким образом, свидетельственная запутанность чернил зафиксирована, и я предоставляю вам решать, какова она. Возможно, владельцы коробок, которые верят, что их доводы сильнее, более склонны нанимать рекламистов; возможно, владельцы коробок, опасающиеся своих недостатков, предлагают большую цену. Если сами владельцы коробок не понимают знаков и примет, то чернила будут совершенно не запутаны с содержимым коробок, хотя они могут кое-что рассказать вам о финансах владельцев и их привычках делать ставки.

Теперь предположим, что другой присутствующий искренне любознателен. Он сначала записывает на листе бумаги все отличительные признаки обеих коробок, а затем применяет свои знания и законы вероятности и пишет в самом низу: «Следовательно, я оцениваю вероятность того, что алмаз находится в коробке B, в 85%». Свидетельством чего служат эти записи? Исследуя причинно-следственную связь, которая привела к появлению этих физических чернил на физической бумаге, я обнаруживаю, что цепочка причинности пролегает через все знаки и приметы коробок и зависит от этих знаков; ведь в мирах с другими приметами внизу была бы записана другая вероятность.

Таким образом, записи любознательного исследователя запутаны со знаками, приметами и содержимым коробок, тогда как записи ловкого спорщика служат свидетельством лишь того, какой владелец заплатил больше. Разница в показаниях чернил огромна, хотя тот, кто по глупости зачитает вслух чернильные закорючки, может подумать, что английские слова звучат похоже.

Ваша эффективность как рационалиста определяется тем, какой алгоритм на самом деле вписывает итоговую строку в ваши мысли. Если ваша машина издает металлический