Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

случайное число, равномерно распределенное между 0 и 1, и использовал его в качестве фиксированной вероятности вытащить красный шар, то ответом будет 4/11 (согласно правилу преемственности Лапласа). Если же вы думаете, что изначально в урне было 10 красных и 10 белых шаров, то ответом будет 7/11.

Иными словами, при определенном приоре — вернее, при неверном приоре — вероятность того, что завтра взойдет Солнце, будет, казалось бы, снижаться с каждым последующим днем... если бы вы были абсолютно уверены априори, что где-то там есть огромная бочка, из которой каждый день вытаскивают листок бумаги, определяющий, взойдет ли Солнце; и что бочка эта содержит лишь ограниченное количество листков со словом «Да», причем вытягивают их без возвращения.

В пространстве проектирования разумов существуют разумы с антиоккамовскими и антилапласовскими приорами; они верят, что более простые теории имеют меньше шансов оказаться верными, и что чем чаще что-то происходит, тем меньше вероятность того, что это произойдет снова.

И когда вы спрашиваете этих странных существ, почему они продолжают использовать приоры, которые, кажется, никогда не работают в реальной жизни... они отвечают: «Потому что они никогда не работали у нас раньше!»

Что ж, один из выводов, который можно отсюда сделать: «Не рождайтесь с глупым приором». Это поразительно полезный принцип для многих реальных проблем, но сомневаюсь, что он удовлетворит философов.

Лично я подхожу к этой проблеме так: я стараюсь относиться к вопросам вроде «Должен ли я доверять своему мозгу?» или «Должен ли я доверять Бритве Оккама?» так, будто в них нет ничего особенного — по крайней мере, ничего особенного в ряду других глубоких вопросов.

Должен ли я доверять Бритве Оккама? Что ж, насколько хорошо (та или иная версия) Бритвы Оккама работает на практике? Какое вероятностно-теоретическое обоснование я могу для нее найти? Когда я смотрю на Вселенную, кажется ли она мне такой Вселенной, где Бритва Оккама должна работать хорошо?

Должен ли я доверять своему мозгу? Очевидно, нет; он работает далеко не всегда. Но тем не менее человеческий мозг кажется куда более мощным, чем самые сложные компьютерные программы, доверие к которым я мог бы рассматривать в противном случае.

Насколько хорошо мой мозг работает на практике и с какими типами задач?

Когда я исследую причинно-следственную историю своего мозга — его происхождение в ходе естественного отбора, — я нахожу, с одной стороны, массу конкретных причин для сомнений: мой мозг был оптимизирован для жизни в первобытной саванне, а не для занятий математикой. Но, с другой стороны, также понятно, почему — выражаясь упрощенно — этот мозг вообще способен работать. Естественный отбор быстро отсеял бы мозги с антиоккамовскими или антилапласовскими приорами — настолько совершенно непригодные для рассуждений, настолько антиполезные.

Так что мои действия на практике вовсе не означают внезапное прекращение вопросов и обоснований. Я не разрываю цепочку анализа в тот момент, когда сталкиваюсь с Бритвой Оккама, со своим мозгом или с чем-то еще, не подлежащим сомнению. Цепочка анализа продолжается — но продолжается она, неизбежно, при помощи моего нынешнего мозга и моего нынешнего владения методами мышления. Да и что еще я мог бы использовать?

В самом деле, что бы я ни делал с этой дилеммой, делать это буду именно я. Даже если бы я доверился чему-то другому — например, компьютерной программе, — это все равно было бы моим личным решением поверить ей.

Что само по себе — довольно опасная мотивация: нельзя всегда избегать всего, что может быть рискованным, а когда кто-то раздражает вас очередной глупостью, вы не можете просто развернуть эту глупость в обратную сторону и получить разум.

Но я тем не менее хотел бы подчеркнуть разницу между тем, чтобы сказать:

Вот предположение, которое я не могу обосновать; его нужно просто принять на веру и больше не анализировать.

И тем, чтобы сказать:

Здесь исследование продолжается, и я анализирую это предположение со всей силой моего нынешнего разума — в отличие от силы чего-то другого, вроде генератора случайных чисел или магического шара-восьмерки, — пусть даже мой нынешний разум и основывается на этом самом предположении.

И все же... разве не было бы здорово, если бы мы могли исследовать вопрос о том, насколько стоит доверять нашему мозгу, без использования нашего нынешнего разума? Разве не было бы здорово, если бы мы могли исследовать вопрос о том, как нужно думать, без использования нашего нынешнего понимания рациональности?

Если сформулировать это таким образом, начинает казаться, что ответом вполне может быть «Нет».

Э. Т. Джейнс любил говорить, что нужно всегда использовать всю доступную информацию — он был специалистом по байесовской теории вероятностей, и ему то и дело приходилось разгребать парадоксы, которые порождали другие люди, когда использовали разную информацию на разных этапах своих вычислений. Принцип «Всегда делай всё, что действительно в твоих силах» привлекателен как минимум не меньше, чем принцип «Никогда не делай ничего, что может показаться рассуждением по кругу.» В конце концов, альтернатива тому, чтобы выкладываться на полную, — это, по-видимому, делать меньше, чем ты способен.

И все же... разве не было бы здорово, если бы нашелся способ обосновать использование Бритвы Оккама или обосновать предсказание о том, что будущее будет похоже на прошлое, без предположения, будто методы мышления, работавшие в прошлых случаях, лучше тех, что раз за разом терпели неудачу?

Разве не было бы здорово, если бы существовала цепочка обоснований, которая не заканчивалась бы не подлежащим анализу предположением и не была бы вынуждена исследовать саму себя по своим собственным правилам, а вместо этого могла бы быть объяснена абсолютно с нуля идеальному, абсолютно пустому студенту-философу?

Что ж, мне определенно было бы это интересно, но я не думаю, что увижу это в обозримом будущем. В машине нет абсолютно пустого призрака; не существует аргумента, который можно было бы объяснить камню.

Даже если кто-то решит проблему Первопричины и найдет настоящую причину простоты Вселенной, которая сама по себе не предполагает простоты Вселенной... я бы все равно ожидал, что такое объяснение сможет понять лишь разумный слушатель, но никак не камень. Слушателю, который изначально не применяет modus ponens, рассчитывать не на что.

Так что, в конечном счете, что происходит, когда кто-то продолжает спрашивать меня: «Почему ты веришь в то, во что веришь?»

На данный момент я начинаю ходить по кругу на том месте, где объясняю: «Я предсказываю будущее так, будто оно будет похоже на прошлое на самом простом и стабильном уровне организации, который я могу выявить, потому что