Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

А что, если человечество решит разобрать Солнце на вещество (звёздная инженерия) или выключить Солнце из-за того, что оно попусту расходует энтропию? Ну, скажете вы, такое-то событие можно предвидеть, у вас будет шанс скорректировать свою оценку вероятности до того, как всё произойдёт. А что, если искусственный интеллект в чьём-то подвале рекурсивно самосовершенствуется до сверхинтеллекта, скрытно разрабатывает нанотехнологии и в одно прекрасное утро он разбирает Солнце? Если в последнюю ночь этого мира вы припишете завтрашнему восходу Солнца вероятность 99,999%, результат вашего Страшного суда уменьшится в 100 000 раз. Минус 50 децибел! Ужасно, правда?

Какова же в таком случае ваша лучшая стратегия? Что ж, предположим, вы на 50% ожидаете, что выросший в подвале ИИ-сверхинтеллект разберёт Солнце в ближайшие десять лет, и полагаете, что вероятность этого события одинакова для любого дня в этот период. Тогда в любую конкретную ночь вы будете ожидать завтрашнего восхода Солнца с вероятностью 99,98%. Если это действительно то, чего вы ожидаете, то у вас нет причин называть в качестве своей вероятности какую-либо иную цифру, кроме 99,98%. Если вы нервничаете, что это ожидание слишком занижено или завышено, значит, с учётом этого беспокойства ваше истинное ожидание выглядит иначе.

Но более глубокая истина байесианства такова: систему нельзя обыграть. Вы не можете дать ни скромный ответ, ни уверенный. Вы должны точно определить, насколько сильно вы ожидаете завтрашнего восхода Солнца, и назвать именно это число. Вы должны сбрить до единого волоска скромность или высокомерие и спросить себя: рассчитываете ли вы в итоге получить оценку за то, что Солнце взойдёт, или за то, что оно не взойдёт? Не ищите оправданий, лучше спросите себя, какие именно оправдания вам могут понадобиться. Как только вы определите точную степень своего ожидания, единственный способ ещё больше улучшить результат Страшного суда — повысить точность, калибровку и различительную способность ваших ожиданий. Вы не сможете добиться большего, не научившись лучше угадывать и точнее прогнозировать.

Э-э, ну, разве что вы могли покончить с собой в пятилетнем возрасте и тем самым предотвратить дальнейшее снижение оценки на вашем Страшном суде. Или, если мы добавим в функцию полезности заплатку в виде нового греха, запрещающего самоубийство, вы могли бы бежать от тайн, избегая любых ситуаций, где, по вашему мнению, вы можете знать не всё. Вот вам и вся религия.

В идеале мы предсказываем исход эксперимента заранее, используя нашу модель, а затем проводим эксперимент, чтобы увидеть, согласуется ли результат с ней. К сожалению, мы не всегда можем контролировать информационный поток. Иногда Природа подбрасывает нам наблюдения, и к тому времени, когда мы придумываем объяснение, мы уже увидели те самые данные, которые должны объяснить. В этом состоял один из научных грехов эволюционизма девятнадцатого века: Дарвин заметил сходство многих видов и их приспособленность к конкретным местным условиям обитания до того, как ему в голову пришла гипотеза естественного отбора. Эволюционизм девятнадцатого века начинался как объяснение постфактум, а не как опережающее предсказание.

И это проблема не только полутехнических теорий. В 1846 году успешный вывод о существовании Нептуна из гравитационных возмущений орбиты Урана было сочтено великим триумфом ньютоновской теории тяготения. Почему? Потому что открытие Нептуна стало первым наблюдением, подтвердившим опережающее предсказание ньютоновской гравитации. Все остальные явления, которые объяснил Ньютон — орбиты, орбитальные возмущения, приливы — были подробно изучены ещё до того, как Ньютон их объяснил. Никто всерьёз не сомневался в правильности теории Ньютона. Теория Ньютона объясняла слишком многое и слишком точно, заменив целый набор моделей ad hoc единым универсальным математическим законом. И всё же опережающее предсказание существования Нептуна, за которым последовало его обнаружение практически в точности в указанном месте, сочли первым великим триумфом теории Ньютона в прогнозировании того, чего не могла предсказать ни одна предыдущая модель. Между всеобщим признанием теории Ньютона и первым впечатляющим опережающим предсказанием ньютоновской гравитации прошло немало времени. К моменту, когда Ньютон создал свою теорию, учёные уже детально наблюдали большую часть явлений, которые предсказывала ньютоновская гравитация.

Однако правило опережающего предсказания — это научная этика, а не закон теории вероятностей. Если вы уже видели данные, которые должны объяснить, Наука может слать вас ко всем чертям, но ваше затруднительное положение не отменяет законов теории вероятностей. Происходит лишь то, что несчастному человеку становится гораздо труднее соблюдать законы теории вероятностей. Когда вы решаете, какую оценку поставить гипотезе в соответствии с байесовским правилом начисления очков, вам нужно определить, какую долю вероятностной массы эта гипотеза выделяет на наблюдаемый исход. Если мы обязаны делать предсказания заранее, становится легче заметить, когда кто-то пытается выдать любой возможный исход за своё опережающее предсказание, тратит слишком много вероятностной массы, намеренно напускает туману, чтобы избежать опровержения, и так далее.

Ни один нумеролог не способен предсказать выигрышные номера лотереи на следующую неделю, но зато он с радостью объяснит мистическое значение выигрышных номеров на прошлой. Допустим, в лотерее на прошлой неделе выигрышным «Мегашаром» стала семёрка из 52 возможных вариантов. Очевидно, это произошло потому, что семь — счастливое число. Значит ли это, что на следующей неделе «Мегашаром» тоже выпадет семёрка? Разумеется, мы понимаем, что это не гарантировано, но раз уж это счастливое число, вам следует приписать ему вероятность выше 1/52... а потом мы будем оценивать ваши догадки на протяжении нескольких лет, и если ваш результат окажется слишком низким, мы вас высечем... что вы говорите? Вы хотите присвоить вероятность ровно 1/52? Но это же точно такая же вероятность, как и для любого другого числа; куда же делась удачливость семёрки? Нет, извините, нельзя приписать вероятность 90% семёрке и одновременно 90% — одиннадцати. Мы понимаем, что они оба счастливые. Да, мы понимаем, что они очень счастливые. Но так это не работает.

Даже если слушатель не знаком с путем Байеса и не требует формальных вероятностей, он, скорее всего, заподозрит неладное, если вы попытаетесь подстраховаться со всех сторон. Предположим, вас просят предсказать выигрышный «Мегашар» на следующую неделю, и вы с помощью нумерологии объясняете, почему шар номер один отлично укладывается в вашу теорию, почему шар номер два отлично укладывается в вашу теорию, почему шар номер три отлично укладывается в вашу теорию... даже у самого доверчивого слушателя могут возникнуть вопросы к тому моменту, когда вы доберётесь до двенадцати. Может, вы тогда скажете, какие числа несчастливые и точно не выиграют в лотерею? Что ж, тринадцать — число несчастливое, но это не то чтобы абсолютно невозможно (вы перестраховываетесь, заранее предвидя, какая отговорка может вам понадобиться).