Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Теперь снова наденьте байесовские очки. Как описано в главе «Высокомерие Эйнштейна», существуют вопросы, которые не являются бинарными — где ответом служит не «Да» или «Нет», а нечто из обширного пространства структур (например, пространства уравнений). В таких случаях требуется гораздо больше байесовских свидетельств, чтобы привлечь ваше внимание к гипотезе, чем чтобы подтвердить эту гипотезу.

Если вы работаете в пространстве всех уравнений, которые можно задать 32 битами или меньше, вы работаете в пространстве из 4 миллиардов уравнений. Требуется гораздо больше байесовских свидетельств, чтобы поднять вероятность одной из этих гипотез до уровня 10%, чем требуется, чтобы затем повысить её с 10% до 90%.

Когда пространство идей велико, придумывание идей, достойных проверки, требует гораздо большей работы — в байесовско-термодинамическом смысле слова «работа», — чем просто получение экспериментального результата с p < 0,0001 для новой гипотезы по сравнению со старой.

Если это не кажется вам очевидным с первого взгляда, сделайте паузу и перечитайте «Высокомерие Эйнштейна».

Научный процесс всегда полагался на то, что ученые будут предлагать гипотезы для проверки с помощью какого-то процесса, который сама Наука никак не детализирует. Представьте, что вы придумали совершенно безумный способ генерировать гипотезы — например, скармливать управляемой роботом спиритической доске цифры числа пи, — и получаемые в результате предположения продолжали бы раз за разом подтверждаться экспериментально. Чистая идеальная сущность Науки даже не сбилась бы с ритма. Чистая идеальная сущность Байеса вспыхнула бы и сгорела.

(По сравнению с Наукой, Байес опровергается бо́льшим числом возможных исходов.)

Это не означает, что процесс выбора идей для проверки не важен для Науки. Это означает, что Наука его не определяет.

На практике управляемая роботом спиритическая доска не работает. На практике пространство ответов на некоторые научные вопросы настолько велико, что при случайном выборе моделей для проверки потребовались бы триллионы лет, чтобы наткнуться на модель, дающую хорошие прогнозы, — это как заставить обезьян напечатать Шекспира.

На переднем крае науки — на границе между незнанием и знанием, где наука движется вперед, — этот процесс опирается на то, что по крайней мере некоторые отдельные ученые (или рабочие группы) видят то, что еще не подтверждено Наукой. Именно так они узнают, какие гипотезы нужно проверить, еще до проведения самой проверки.

Если вы снимете байесовские очки, то сможете сказать: «Ну, им не обязательно знать, им нужно просто угадывать». Если же вы снова наденете байесовские очки, то поймете, что «угадывание» с вероятностью в 10% требует проведения за кулисами почти столь же успешной эпистемической работы, как и «угадывание» с вероятностью в 80% — по крайней мере, для больших пространств ответов.

Ученый может и не знать, что успешно проделал эту эпистемическую работу, еще до проведения эксперимента; но на самом деле он действительно проделал ее успешно! Иначе он даже не додумается до правильной гипотезы. Во всяком случае, в больших пространствах ответов.

Итак, ученый выдвигает новое предсказание, проводит эксперимент, публикует результат, и теперь Наука тоже это знает. Теперь это часть общедоступного знания человечества, которое каждый может проверить самостоятельно.

В промежутке был интервал, когда ученый рационально знал нечто такое, чего публичный социальный процесс науки еще не подтвердил. И это отнюдь не тривиальный интервал, хотя он и может быть коротким; ведь именно там лежит передний край науки, ее движущаяся вперед граница.

Все это еще более верно для нерутинной науки, чем для рутинной, поскольку в ней предполагаются большие пространства ответов, где ответ — это не «Да» или «Нет» и не выбор из небольшого набора очевидных альтернатив. Гораздо проще научить людей проверять идеи, чем находить хорошие идеи для проверки.

*

1. Макс Планк, «Научная автобиография и другие работы» (New York: Philosophical Library, 1949).

252. Скорость Эйнштейна.

В предыдущем эссе я утверждал, что Силы вне Науки на самом деле являются стандартной и необходимой частью социального процесса науки. В частности, ученые должны обращаться к своей индивидуальной рациональности, чтобы решать, какие идеи стоит проверять, еще до проведения тех решающих экспериментов, которых Наука требует, чтобы благословить идею как подтвержденную. Идеал Науки не пытается регламентировать этот процесс — мы ведь не предполагаем, что какой-либо общественный институт знает, как именно должны мыслить отдельные ученые, — но это не означает, что сам процесс не важен.

Простой и безобидный пример:

Ученый обнаруживает четкую математическую закономерность в совокупных данных предыдущих экспериментов. Но на основе соответствующей гипотезы еще не было сделано и подтверждено новое экспериментальное предсказание — а этого требует его научная область; это одна из тех областей, где можно без особых проблем проводить контролируемые эксперименты. Таким образом, у конкретного ученого есть вполне понятные, рациональные причины верить (хотя и не со стопроцентной вероятностью) в то, что еще не благословлено Наукой как общее знание человечества.

Заметить закономерность в огромной массе экспериментальных данных не кажется чем-то столь уж ненаучным. Вы ведь по-прежнему опираетесь на данные, верно?

Но это лишь потому, что я намеренно выбрал безобидный пример. Когда Эйнштейн создавал Общую теорию относительности, у него почти не было экспериментальных данных, на которые можно было бы опереться, за исключением прецессии перигелия Меркурия. И (насколько мне известно) Эйнштейн не использовал эти данные — разве что в самом конце.

Эйнштейн вывел Специальную теорию относительности, используя принцип Маха, который представляет собой физическую версию Обобщенного антизомби-принципа. Вы начинаете с рассуждения: «Мне не кажется разумным, что, находясь в закрытой комнате, можно определить, с какой скоростью движетесь вы и сама комната. Раз эта величина не должна быть наблюдаемой, её не должно быть и в сколько-нибудь осмысленном виде». Затем вы замечаете, что уравнения Максвелла содержат кажущуюся абсолютной скорость распространения c, обычно называемую «скоростью света» (хотя квантовые уравнения показывают, что это скорость распространения всех фундаментальных волн). И вы переформулируете физику таким образом, чтобы абсолютной скорости отдельного объекта больше не существовало в сколько-нибудь осмысленном виде, а существовали только относительные скорости. Очевидно, что я сейчас многое опускаю, но существует множество отличных вводных курсов по теории относительности — это вам не ужасающая ситуация с квантовой физикой.

Успешно покончив с представлением об абсолютной скорости внутри закрытой комнаты, Эйнштейн задался целью покончить и с представлением об абсолютном ускорении в ней. Эйнштейну казалось, что не должно быть никакого способа отличить в закрытой комнате ситуацию, когда комната ускоряется на север, пока остальная Вселенная покоится, от ситуации, когда остальная Вселенная ускоряется на юг,