Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

бы гораздо веселее и намного дешевле, если бы мы просто решили отменить закон, согласно которому машинам нужно топливо. Разве это не было бы очевидно лучше для всех? Что ж, вы можете попытаться, если таков ваш каприз. Вы можете даже закрыть глаза и притвориться, что машина едет. Но чтобы действительно приходить к точным убеждениям, требуется топливо из свидетельств, и чем дальше вы хотите уехать, тем больше топлива вам понадобится.

*

24. Высокомерие Эйнштейна.

В 1919 году сэр Артур Эддингтон возглавил экспедиции в Бразилию и на остров Принсипи с целью наблюдения солнечных затмений, чтобы проверить экспериментальное предсказание новой Общей теории относительности Эйнштейна. Один журналист спросил Эйнштейна, что бы он делал, если бы наблюдения Эддингтона не совпали с его теорией. Эйнштейн ответил своей знаменитой фразой: «Тогда мне было бы жаль Господа Бога. Теория верна».

Это кажется довольно безрассудным заявлением, бросающим вызов канону Традиционной Рациональности, согласно которому эксперимент превыше всего. Кажется, будто Эйнштейн одержим настолько великим высокомерием, что отказывается склонить голову и подчиниться вердикту Природы, как обязаны делать ученые. Кто может знать, что теория верна, до экспериментальной проверки?

Разумеется, Эйнштейн оказался прав. Я стараюсь не критиковать людей, когда они правы. Если они действительно заслуживают критики, мне не придется долго ждать случая, когда они ошибутся.

Да и Эйнштейн, возможно, был не так уж безрассуден, как могло показаться...

Чтобы присвоить вероятность более 50% правильному кандидату из множества в 100 000 000 возможных гипотез, вам потребуется не менее 27 бит свидетельств (или около того). Не стоит ожидать, что вы найдете верного кандидата без столь же сильных проверок, потому что менее строгие проверки дадут более одного кандидата, прошедшего все испытания. Если вы попытаетесь применить тест с вероятностью ложноположительного результата один на миллион (~20 бит), вы в итоге получите сотню кандидатов. Просто чтобы найти верный ответ в огромном пространстве возможностей, требуется большое количество свидетельств.

Традиционная Рациональность делает упор на обоснование: «Если вы хотите убедить меня в X, вы должны предоставить мне свидетельства в объеме Y». Я и сам часто скатываюсь к подобным формулировкам, когда говорю что-то вроде: «Чтобы обосновать веру в это утверждение с вероятностью более 99%, требуется 34 бита свидетельств». Или: «Чтобы присвоить вашей гипотезе вероятность более 50%, вам нужно 27 бит свидетельств». Традиционная формулировка подразумевает, что вы начинаете с предчувствия или какого-то личного хода рассуждений, который приводит вас к предлагаемой гипотезе, а затем вы должны собрать «свидетельства», чтобы подтвердить ее — убедить научное сообщество или обосновать свои слова о том, что вы верите в своё предчувствие.

Но с байесовской точки зрения вам требуется количество свидетельств, примерно эквивалентное сложности гипотезы, просто чтобы найти эту гипотезу в пространстве теорий. И дело вовсе не в том, чтобы что-то кому-то обосновывать. Если существует сто миллионов альтернатив, вам нужно как минимум 27 бит свидетельств просто для того, чтобы сфокусировать свое внимание исключительно на правильном ответе.

Это верно, даже если вы называете свою догадку «предчувствием» или «интуицией». Предчувствия и интуитивные озарения — это реальные процессы в реальном мозге. Если у вашего мозга нет хотя бы 10 бит подлинно запутанных, достоверных байесовских свидетельств для обработки, ваш мозг не сможет выделить правильную 10-битную гипотезу и представить ее вашему вниманию — сознательно, подсознательно или как-то еще. Подсознательные процессы не способны обнаружить одну цель из миллиона, используя всего лишь 19 бит запутанности, точно так же, как и сознательные. Предчувствия могут казаться загадочными для того, кто их испытывает, но они не могут нарушать законы физики.

Вы понимаете, к чему все идет: В момент первой формулировки гипотезы — в самый первый раз, когда эти уравнения возникли у него в голове, — Эйнштейн должен был уже иметь в своем распоряжении достаточные наблюдательные свидетельства, чтобы выделить сложные уравнения Общей теории относительности и направить на них свое внимание. Иначе он не смог бы сформулировать их верно.

А теперь подумайте, какова вероятность того, что у Эйнштейна было ровно столько наблюдательных свидетельств, чтобы Общая теория относительности привлекла его внимание, но при этом давала основания присвоить ей лишь 55% вероятности? Предположим, что Общая теория относительности — это гипотеза на 29,3 бита. Какова вероятность того, что Эйнштейн при чтении физической литературы наткнется ровно на 29,5 бита свидетельств?

Весьма маловероятно! Если у Эйнштейна изначально было достаточно наблюдательных свидетельств, чтобы вообще выделить правильные уравнения Общей теории относительности, то у него, скорее всего, было достаточно свидетельств, чтобы быть чертовски уверенным в том, что Общая теория относительности верна.

На самом деле, поскольку человеческий мозг — далеко не идеальный процессор информации, у Эйнштейна, вероятно, было несопоставимо больше свидетельств, чем в принципе потребовалось бы идеальному байесианцу для обретения высочайшей уверенности в Общей теории относительности.

«Тогда мне было бы жаль Господа Бога. Теория верна». Это звучит уже не так возмутительно, если взглянуть на ситуацию под таким углом. И помните, что из всего этого гигантского пространства возможностей Общая теория относительности действительно была верна.

*

25. Бритва Оккама.

Чем сложнее объяснение, тем больше свидетельств требуется просто для того, чтобы отыскать его в пространстве убеждений. (В традиционном рационализме это часто формулируется не совсем верно: «Чем сложнее утверждение, тем больше свидетельств требуется для его обоснования».) Как измерить сложность объяснения? Как определить, сколько именно свидетельств необходимо?

Бритву Оккама часто формулируют как «самое простое объяснение, согласующееся с фактами». Роберт Хайнлайн возражал, что в таком случае простейшим объяснением будет: «Дама с соседней улицы — ведьма; она это сделала».

Очевидно, что длина английского предложения — плохой способ измерить «сложность». Да и одного лишь «согласования» с фактами из-за того, что объяснение их не запрещает, недостаточно.

Почему именно длина английского предложения — плохая мера сложности? Потому что, произнося предложение вслух, вы используете ярлыки для понятий, которые известны и слушателю: получатель уже сохранил всю их сложность у себя в памяти. Предположим, мы сократим всё предложение Хайнлайна до «Дсссувоэс!» («Дама с соседней улицы — ведьма; она это сделала»), чтобы всё объяснение умещалось в одно слово. Или, что ещё лучше, дадим ему случайное короткое имя вроде «Фнорд!». Уменьшит ли это сложность? Нет, ведь вам придётся заранее объяснить слушателю, что «Дсссувоэс!» означает «Дама с соседней улицы — ведьма; она это сделала». Само слово «ведьма» — это ярлык