Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="p">Но если попросить вас объяснить номера лотереи за прошлую неделю — о, тут семёрка была практически неизбежна. Эта семёрка определённо должна считаться колоссальным успехом для модели лотереи, основанной на «счастливых числах». И тринадцати там никак не могло оказаться; теория удачи это напрочь исключает.

Представьте, что однажды утром вы просыпаетесь и обнаруживаете, что вместо вашей левой руки появилось синее щупальце. Синее щупальце подчиняется вашим двигательным командам — вы можете брать им стаканы, вести машину и так далее. Как бы вы объяснили этот гипотетический сценарий? Прежде чем читать дальше, уделите минуту размышлениям над этой загадкой.

(Отступ для защиты от спойлеров...)

Как бы я объяснил тот факт, что вместо моей левой руки появилось синее щупальце? Ответ прост: никак. Этого не случится.

Было бы достаточно легко сочинить вербальное объяснение, которое «подошло» бы под этот гипотетический сценарий. Существует множество объяснений, способных «подойти» к чему угодно, включая (как частный случай «чего угодно») появление синего щупальца вместо руки. Божественное вмешательство — отличный универсальный вариант. Или инопланетяне с произвольными мотивами и возможностями. Или я мог сойти с ума, галлюцинировать, грезить на больничной койке, пока проходит моя жизнь. Подобные объяснения «подходят» под любые исходы одинаково хорошо — и одинаково плохо, что приравнивает их к гипотезам полного неведения.

Проверка того, «объясняет» ли модель реальности превращение моей руки в синее щупальце, заключается в том, концентрирует ли она значительную долю вероятностной массы на этом конкретном исходе. Почему именно этот сон в больнице? Зачем инопланетянам делать со мной именно это, а не любой другой миллиард вещей, которые они могли бы сделать? Почему моя рука превратилась в щупальце именно в это утро, после того как оставалась рукой во все остальные утра моей жизни? И во всех случаях я должен искать аргумент, достаточно убедительный, чтобы сделать это конкретное предсказание заранее, а не довольствоваться простой совместимостью. Как только я узнаю исход, мне станет гораздо труднее перебирать гипотезы в поисках хорошего объяснения. Какую бы гипотезу я ни пробовал, мне будет крайне сложно не выделить на вчерашний исход с синим щупальцем больше вероятностной массы, чем если бы я экстраполировал вслепую, пытаясь найти наиболее вероятное предсказание модели на завтра.

Модель не всегда предсказывает все особенности данных. У природы нет предрасположенности подбрасывать мне исключительно разрешимые задачи. Возможно, со мной забавляется божество, чей разум вычислительно непостижим. Если я подбрасываю симметричную монету, результат невозможно объяснить подробнее — не существует модели, которая дала бы лучшее предсказание, чем гипотеза максимальной энтропии. Но если я выберу наугад модель без внутренних деталей или модель, которая не делает никаких дальнейших предсказаний, у меня не только не будет причин верить в эту догадку, мне вообще не будет до неё никакого дела. Прошлой ночью мою руку заменило синее щупальце. Почему? Инопланетяне! И что же они сделают завтра? Точно так же, если я припишу синее щупальце галлюцинации, пока моя жизнь проходит в коме, я всё равно не узнаю ничего нового о том, что мне привидится завтра. Так какая мне разница, инопланетяне это были или галлюцинация?

Что же тогда могло бы стать хорошим объяснением, если бы я однажды проснулся утром и обнаружил, что моя рука превратилась в синее щупальце? Чтобы претендовать на «хорошее объяснение» этого гипотетического опыта, потребовался бы такой аргумент, размышляя над которым сейчас, до того, как моя рука превратилась в синее щупальце, я ложился бы спать в тревоге, что моя рука действительно превратится в щупальце.

Люди играют в игры с правдоподобием, объясняя события, с которыми они никогда не рассчитывают столкнуться в реальности, однако это неизбежно нарушает законы теории вероятностей. Многие ли из тех, кто считает, будто может «объяснить» гипотетическое пробуждение со щупальцем вместо руки, ложились бы спать с мыслью: а вдруг это действительно случится со мной? Будь у них мужество следовать своим убеждениям, они бы сказали: «Я не ожидаю когда-либо столкнуться с этим гипотетическим опытом, поэтому я не могу его объяснить, и у меня нет причин пытаться. Подобные вещи случаются только в веб-комиксах, и мне незачем готовить объяснения, ведь в реальной жизни у меня никогда не будет шанса ими воспользоваться. Если я когда-нибудь окажусь в этой невозможной ситуации, пусть я не упущу ни единой йоты моего драгоценного недоумения».

Для байесовца вероятности — это ожидания, а не просто убеждения, о которых нужно трубить на каждом углу. Если моя модель распределяет вероятностную массу на то, что я проснусь с синим щупальцем, то я буду нервничать из-за возможности проснуться с синим щупальцем. Что если модель фантастична — например, ведьма наложила заклинание, переносящее меня в случайно выбранный веб-комикс? Тогда априорная вероятность колдовства из веб-комиксов настолько мала, что моё понимание реального мира не приписывает этой гипотезе сколько-нибудь значимого веса. Гипотеза о колдовстве, если принять её как данность, могла бы приписать вполне заметное правдоподобие тому, что я проснусь с синим щупальцем. Но моё ожидание этой гипотезы настолько мало, что я не ожидаю ни одного из её предсказаний. То, что я вообще могу помыслить гипотезу о колдовстве, никоим образом не должно уменьшить моё полное недоумение, если я действительно проснусь со щупальцем, поскольку вероятность, которую я приписываю гипотезе о колдовстве в реальном мире, фактически равна нулю. Моя гипотеза с нулевой вероятностью не помогла бы мне объяснить пробуждение со щупальцем, потому что этот аргумент недостаточно хорош, чтобы заставить меня ожидать пробуждения со щупальцем.

В законах теории вероятностей распределения правдоподобия — это фиксированные свойства гипотезы. В искусстве рациональности объяснять — значит ожидать. Ожидать — значит объяснять. Представьте, что я медицинский исследователь, и в обычном ходе своей научной работы я замечаю, что моя новая остроумная теория анатомии, похоже, допускает небольшую и смутную вероятность того, что моя рука превратится в синее щупальце. «Ха-ха! — говорю я, — как забавно и глупо!» — и чувствую легчайший укол беспокойства. Вот это было бы хорошим объяснением пробуждения со щупальцем, если бы такое вообще произошло.

Если цепочка рассуждений не заставляет меня заранее нервничать из-за перспективы проснуться со щупальцем, то такое рассуждение было бы плохим объяснением, если бы это событие действительно произошло, поскольку сочетание априорной вероятности и правдоподобия было слишком мало, чтобы заставить меня выделить хоть какую-то значимую долю вероятностной массы в реальном мире на этот исход.

Если вы начнёте с хорошо откалиброванных априорных вероятностей и примените байесовские рассуждения, вы придёте к столь же хорошо откалиброванным выводам. Представьте, что два миллиона существ, рассеянных по разным