Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Незнание фундаментальных законов не говорит о том, что кажущаяся запутанной закономерность действительно запутана. Возможно, вы просто ещё не разглядели в ней порядок.

Но когда речь заходит о запутанных сетях экспрессии генов, мы уже нашли скрытую красоту — стабильный уровень лежащей в основе физики. Поскольку мы уже нашли всеобъемлющий порядок, мы можем предположить, что не найдём никаких дополнительных тайных закономерностей, которые сделали бы биологию столь же простой, как последовательность кубов. Зная правила игры, мы знаем, что сама игра сложна. Нам не хватает вычислительных мощностей, чтобы просчитать химию белков на основе физики (второй источник неопределённости), а эволюционные пути на разных планетах могли разойтись (третий источник неопределённости). Новые открытия в фундаментальной физике нам здесь не помогут.

Если бы вы были древним греком, смотрящим на необработанные данные биологического эксперимента, для вас было бы гораздо разумнее искать какую-то скрытую структуру пифагорейской элегантности, где все белки выстраиваются в идеальный икосаэдр. Но в биологии мы уже знаем, где находится пифагорейская элегантность, и знаем, что она скрыта слишком глубоко, чтобы помочь нам преодолеть нашу индексикальную и логическую неопределённость.

Точно так же мы можем быть уверены, что никто и никогда не сможет предсказать результаты определённых квантовых экспериментов, лишь потому, что наша фундаментальная теория совершенно определённо говорит нам: разные версии нас увидят разные результаты. Если ваше знание фундаментальных законов говорит вам, что существует последовательность кубов, что на каждом кубе стоит по человечку, что все человечки одинаковы, за исключением того, что находятся на разных кубах, и что вы — один из этих человечков, то вы знаете, что у вас нет другого способа вычислить, на каком кубе вы находитесь, кроме как посмотреть.

Согласно нашим лучшим современным знаниям, «реальный мир» — это идеально упорядоченный, детерминированный и очень большой математический объект, симуляция которого требует колоссальных вычислительных затрат. Поэтому «реальная жизнь» похожа не столько на предсказание следующего куба в последовательности, сколько на ситуацию, когда вы знаете, что на кубах стоит множество человечков, но не знаете, кем лично вы являетесь, да к тому же не слишком сильны в устном счёте. Наше знание правил заметно ограничивает наши ожидания, весьма существенно, но всё же не идеально.

Ну вот, разве это не похоже на реальную жизнь?

Однако неопределённость существует на карте, а не на территории. Если мы чего-то не знаем о явлении, это факт о состоянии нашего разума, а не о самом явлении. Эмпирическая неопределённость, логическая неопределённость и индексикальная неопределённость — всего лишь названия для нашей собственной растерянности. Лучшее на сегодняшний день предположение состоит в том, что мир — это математика, а математика идеально упорядоченна. Вся эта запутанность существует лишь в глазах смотрящего.

Даже огромное болото блогосферы встроено в эту идеальную физику, которая в конечном счёте столь же упорядочена, как {1, 8, 27, 64, 125, . . . }.

Так что интернет — это не сплошная грязь . . . это последовательность кубов.

*

184. Прекрасная вероятность.

Стоит ли нам ожидать, что рациональность окажется `на каком-то уровне` простой? Должны ли мы искать и надеяться на `глубинную` красоту в искусстве формирования убеждений и выбора?

Позвольте мне начать обсуждение этого вопроса с жалобы покойного великого Мастера байесианства Э. Т. Джейнса:`1`

«Два медика-исследователя независимо друг от друга применяют одно и то же лечение в разных больницах. Ни один из них не опустился бы до фальсификации данных, но один заранее решил, что из-за ограниченности ресурсов остановится после лечения n = 100 пациентов, независимо от того, сколько выздоровлений будет зафиксировано к этому моменту. Другой поставил на кон свою репутацию ради доказательства эффективности лечения и решил, что не остановится, пока не получит данные, указывающие на показатель выздоровления явно выше 60%, сколько бы пациентов для этого ни потребовалось. Но фактически оба остановились, получив абсолютно одинаковые данные: n = 100 [пациентов], r = 70 [выздоровлений]. Должны ли мы в таком случае сделать разные выводы из их экспериментов?» [Предположительно, две контрольные группы также показали одинаковые результаты.]

`Cyan` отсылает нас к `главе 37` `великолепного учебника по статистике` Маккея, который можно бесплатно найти в сети, за более подробным разбором этой проблемы.`2`

Согласно старомодной статистической процедуре — которую, я полагаю, преподают и по сей день — эти два исследователя провели разные эксперименты с разными условиями остановки. Эти два эксперимента `могли` закончиться с разными данными, а следовательно, представляют собой разные проверки гипотезы, требующие разного статистического анализа. Вполне возможно, что первый эксперимент окажется «статистически значимым», а второй — нет.

Смущает вас это или нет, но это многое говорит о вашем отношении к теории вероятностей и, собственно, к самой рациональности.

Небайесовские статистики могут пожать плечами и сказать: «Ну, понимаете, не у всех статистических инструментов одинаковые сильные и слабые стороны — молоток не похож на отвёртку, — и если вы применяете разные статистические инструменты, вы можете получить разные результаты. Это как использовать одни и те же данные для вычисления линейной регрессии или для обучения регуляризованной нейросети. Нужно подбирать правильный инструмент для каждого случая. Жизнь вообще штука сложная...»

И вот что ответят байесианцы: «Это `вы` простите? Доказательная сила фиксированного экспериментального метода, давшего определённые данные, зависит от личных мыслей исследователя? И у вас хватает наглости обвинять `нас` в «излишней субъективности»?»

Если Природа устроена одним образом, то вероятность получить те данные, которые мы увидели, будет одной. Если Природа устроена иначе, вероятность получить такие данные будет другой. Но вероятность того, что определённое состояние Природы породит наблюдаемые нами данные, никак не связана с личными намерениями исследователя. Таким образом, какими бы ни были наши гипотезы о Природе, отношение правдоподобия в обоих экспериментах одинаково, доказательная сила одинакова, и апостериорная вероятность должна быть одинаковой. Чтобы эти два метода старой школы привели к разным ответам, по крайней мере один из них должен отбрасывать важную информацию — или просто выполнять неверный расчёт.

Древняя война между байесианцами и проклятыми частотниками тянется уже десятилетиями, и я не собираюсь пересказывать эту стародавнюю историю в данном эссе.

Но один из центральных конфликтов заключается в том, что байесианцы ждут от теории вероятностей... какое бы слово подобрать? «Стройности»? «Чистоты»? «Самосогласованности»?

Как говорит Джейнс, теоремы байесовской теории вероятностей — это именно `теоремы` в согласованной системе доказательств. Независимо