Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

человеческую женщину привлекательной». Скорее всего, художник даже не задумывался о том, воспринимает ли пришелец человеческих женщин как привлекательных. Для него женщина в разорванном платье просто сексуальна — сама по себе, как неотъемлемое внутреннее свойство.

Те, кто заблуждался, не думали об эволюционной истории пришельца; они концентрировались на разорванном платье женщины. Если бы платье не было разорвано, женщина была бы менее сексуальной; инопланетный монстр тут вообще ни при чём.

Судя по всему, мы инстинктивно представляем Сексуальность как прямой атрибут структуры данных «Женщина» — Женщина.сексуальность, подобно Женщина.рост или Женщина.вес.

Если ваш мозг использует такую структуру данных или что-то метафорически похожее на неё, то изнутри это ощущается так, будто сексуальность — это неотъемлемое свойство самой женщины, а не свойство смотрящего на неё пришельца. Раз уж женщина привлекательна, то инопланетный монстр обязательно почувствует к ней влечение — разве это не логично?

Э. Т. Джейнс использовал термин «ошибка проекции разума» для обозначения ошибки, при которой свойства собственного разума на внешний мир. Джейнса, как покойного великого магистра Байесовского заговора, больше всего беспокоило то, что вероятности трактуются как неотъемлемые свойства самих объектов, а не как состояния неполноты знаний конкретного разума. Подробнее об этом чуть позже.

Но ошибка проекции разума — гораздо более общее заблуждение. Она кроется и в споре об истинном значении слова «звук», и на обложке журнала с монстром, уносящим женщину в разорванном платье, и в утверждении Канта о том, что пространство по самой своей природе плоское, и в определении априорных идей у Юма как таких, которые «открываются посредством одних только операций мысли, независимо от того, существует ли что-либо во Вселенной или нет»...

(Кстати, однажды я читал научно-фантастический рассказ о человеке, который вступил в сексуальную связь с разумным инопланетным растением с подходящими по мягкости вайями; затем обнаружил, что это было андроцейное (мужское) растение; немного помучился сомнениями по этому поводу и в конце концов решил, что на тот момент это было уже не важно. А в «Нелегальных пришельцах» Фоглио и Поллотты люди высаживаются на планету, населенную разумными насекомыми, и видят киноафишу, на которой человек уносит жука в изящном шифоновом платье. Просто решил упомянуть об этом.)

*

193. Вероятность — в уме.

В предыдущем эссе я говорил об ошибке проекции разума, приведя в пример инопланетного монстра, который уносит девушку в разорванном платье, намереваясь её обесчестить. Эту ошибку я списал на склонность художника считать сексуальность женщины её собственным внутренним свойством — Женщина.сексуальность — а не чем-то, что существует лишь в уме наблюдателя и вряд ли возникло бы в разуме пришельца.

Термин «ошибка проекции разума» ввёл покойный великий мастер байесианства Э. Т. Джейнс в ходе своей долгой и упорной борьбы против проклятых частотников. Джейнс полагал, что вероятности существуют в уме, а не во внешней среде, — что они выражают наше неведение, состояние неполноты информации. И если я чего-то не знаю о каком-то явлении, то это факт, описывающий состояние моего ума, а не само явление.

Описать эту древнюю войну в двух словах невозможно, но классический пример этой дискуссии выглядит следующим образом:

У вас есть монета.

Монета несимметрична.

Вы не знаете, в какую сторону смещён её баланс и насколько сильно. Кто-то просто сказал вам: «Монета несимметрична», и это всё.

Это вся информация, которой вы располагаете — и единственная.

Вы достаёте монету, подбрасываете её и прижимаете ладонью к столу.

Теперь — до того как вы уберёте руку и посмотрите на результат — готовы ли вы утверждать, что оцениваете вероятность выпадения орла в 0,5?

Частотник скажет: «Нет. Сказать „вероятность 0,5“ — значит заявить, что монета обладает внутренней склонностью падать орлом так же часто, как и решкой, так что, если бы мы подбросили её бесконечно много раз, соотношение орлов и решек стремилось бы к 1:1. Но мы знаем, что монета несимметрична, поэтому вероятность выпадения орла может быть какой угодно, кроме 0,5».

Байесовец скажет: «Неопределённость существует на карте, а не на территории. В реальном мире монета легла либо орлом, либо решкой. Любые разговоры о „вероятности“ должны относиться к информации, которой я располагаю о монете — моему состоянию частичного неведения и частичного знания, — а не к самой монете. Более того, у меня есть масса теорем, показывающих, что если я не буду обращаться со своим неполным знанием определённым образом, то буду делать глупые ставки. Если мне нужно строить планы, я буду исходить из неопределённости 50/50, при которой я не придаю исходам при условии выпадения орла в своём уме большего веса, чем исходам при условии выпадения решки. Называйте это число как хотите, но оно должно подчиняться законам вероятности под страхом прослыть глупцом. Так что я ни секунды не сомневаюсь, называя вероятностью свою оценку весов исходов».

Я на стороне байесовцев. Возможно, вы это уже заметили.

Даже до того, как брошена симметричная монета, представление о том, что она обладает внутренней 50%-ной вероятностью выпасть орлом, может оказаться совершенно неверным. Возможно, вы держите монету так, что её выпадение орлом или решкой практически гарантировано — учитывая силу вашего броска и потоки воздуха вокруг вас. Но если вы не знаете, в какую именно сторону смещён баланс в этот конкретный раз, то что с того?

Кажется, был судебный процесс, в котором кто-то утверждал, что призывная лотерея несправедлива, поскольку записки с именами перемешивались недостаточно тщательно. На это судья ответил: «Для кого она несправедлива?»

Чтобы сделать эксперимент с подбрасыванием монеты воспроизводимым, как любят требовать частотники, мы могли бы построить автоматический подбрасыватель и убедиться, что результаты дают 50% орлов и 50% решек. Но что, если робот со сверхчувствительным зрением и хорошим знанием физики, наблюдая за тем, как автоподбрасыватель готовится к броску, сможет предсказать падение монеты заранее — пусть и не со стопроцентной уверенностью, а с точностью в 90%? Какова тогда будет реальная вероятность?

Никакой «реальной вероятности» не существует. У робота одно состояние частичной информации. У вас — другое состояние частичной информации. У самой монеты ума нет, и она ничему не присваивает вероятностей; она просто взлетает в воздух, делает несколько оборотов, сталкивается с молекулами воздуха и падает либо орлом, либо решкой.

Таков байесовский взгляд на вещи, и теперь я хотел бы указать на пару классических головоломок, чья головоломность проистекает из склонности считать вероятность внутренним свойством объектов.

Давайте возьмём старую классическую задачу. Вы встречаете