Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Бесконечная сетка фигур в мантиях ответила в один голос — голоса сливались идеально и звучали абсолютно синхронно, так что никого нельзя было выделить из общей массы и выдать:

— Кто отсутствует?

— Якоб Бернулли, — торжественно произнес проводник, и стены отозвались:

— Мертв, но не забыт.

— Абрахам де Муавр,

— Мертв, но не забыт.

— Пьер-Симон Лаплас,

— Мертв, но не забыт.

— Эдвин Томпсон Джейнс,

— Мертв, но не забыт.

— Они умерли, — сказал проводник, — и они потеряны для нас. Но мы всё ещё есть друг у друга, и проект продолжается.

В тишине проводник повернулся к Бреннану и протянул руку, на ладони которой лежало маленькое кольцо из почти прозрачного материала.

Бреннан шагнул вперед, чтобы взять кольцо —

Но рука резко сжалась в кулак.

— Если три четверти людей в этой комнате — женщины, — произнес проводник, — и три четверти женщин и половина мужчин принадлежат к Ереси Добродетели, а я — виртуист, то какова вероятность, что я мужчина?

— Две одиннадцатых, — уверенно ответил Бреннан.

Наступил миг абсолютной тишины.

Затем раздались изумлённые смешки.

Снова раздался шепот проводника — на этот раз действительно тихий, едва различимый: — Вообще-то, одна шестая.

Щеки Бреннана так пылали, что ему казалось, будто лицо вот-вот расплавится. В нем проснулось непреодолимое желание выбежать из комнаты, взлететь по лестнице, сбежать из города, сменить имя, начать жизнь заново и на этот раз сделать всё правильно.

— Честная ошибка по крайней мере честна, — заговорил проводник уже громче, — и о честности мы судим по готовности от нее отказаться. Если я виртуист, какова вероятность, что я мужчина?

— Одна... — начал было Бреннан.

И осекся. И снова — ужасающая тишина.

— Да скажи ты уже «одна шестая», — театральным шепотом произнесла фигура, на этот раз достаточно громко, чтобы услышали даже стены. Снова раздался смех, и далеко не все смеялись по-доброму.

Бреннан часто дышал, на лбу у него выступил пот. Если он ошибся и в этом, он действительно собирался сбежать из города. — Три четверти женщин, умноженные на три четверти виртуисток, дают девять шестнадцатых женщин-виртуисток в этой комнате. Одна четверть мужчин, умноженная на половину виртуистов, дает две шестнадцатых мужчин-виртуистов. Если исходить только из этой информации и того факта, что вы — виртуист, то шансы составят два к девяти, а вероятность того, что вы мужчина, равна двум одиннадцатым. Хотя на самом деле я не верю, что предоставленные данные верны. Во-первых, всё слишком гладко. Во-вторых, в этой комнате нечетное число людей.

Рука снова протянулась вперед и раскрылась.

Бреннан взял кольцо. В свете факелов оно казалось почти невидимым — не стекло, а какой-то материал с показателем преломления, очень близким к воздуху. Кольцо, еще теплое от руки проводника, ощущалось как крошечное живое существо, обнявшее его палец.

Облегчение было столь велико, что он почти не услышал, как зааплодировали фигуры в капюшонах.

От проводника в мантии донесся последний шепот:

— Теперь ты — послушник Байесовского заговора.

*

Часть R. Физикализм 201.

214. Рука против пальцев.

Вернемся к нашей исходной теме: редукционизм и ошибка проекции разума. Принятие редукционизма может вызывать эмоциональные трудности, если вы считаете, что вещи должны быть фундаментальными, чтобы приносить радость. Но такая позиция обрекает нас на то, чтобы никогда не радоваться ничему сложнее кварка, поэтому я предпочитаю ее отвергнуть.

Напомним: тезис редукционизма состоит в том, что мы используем многоуровневые модели по вычислительным причинам, но физическая реальность имеет лишь один уровень.

Здесь я хотел бы предложить следующую загадку: когда вы берете чашку с водой, поднимает ли ее ваша рука?

Большинство людей, разумеется, выбирают наивный популярный ответ: «Да».

Недавно, однако, ученые сделали потрясающее открытие: чашку держит вовсе не ваша рука, а на самом деле ваши пальцы, большой палец и ладонь.

Да, я знаю! Я тоже был потрясен. Но, похоже, после того как ученые измерили силы, прикладываемые к чашке каждым из ваших пальцев, большим пальцем и ладонью, они обнаружили, что никакой «лишней» силы не осталось — а значит, сила, прикладываемая вашей рукой, должна быть равна нулю.

Суть здесь в том, что если вы можете увидеть, как (а не просто знать, что) более высокий уровень сводится к более низкому, они не будут казаться вам разными вещами на вашей карте; вы сможете увидеть, насколько глупо думать, будто ваши пальцы могут находиться в одном месте, а рука — в другом; вы сможете увидеть, как глупо спорить о том, рука ли поднимает чашку или пальцы.

Ключевое слово здесь — «видеть», в смысле конкретной визуализации. Представляя руку, вы представляете пальцы, большой палец и ладонь; и наоборот, представляя пальцы, большой палец и ладонь, вы распознаёте на этой мысленной картинке руку. Таким образом, высокий уровень вашей карты и низкий уровень вашей карты окажутся тесно связанными в вашем уме.

В реальности же уровни связаны еще прочнее — прочнейшей из возможных связей: физическим тождеством. Вы можете видеть это: вы можете видеть, что слова (1) «рука» или (2) «пальцы, большой палец и ладонь» относятся не к разным вещам, а к разным точкам зрения.

Но предположим, вам не хватает знаний, чтобы столь тесно связать уровни вашей карты. Например, у вас мог бы быть «сканер рук», который показывал бы «руку» как точку на карте (подобно старомодному радару), и аналогичные сканеры для пальцев, больших пальцев и ладоней; тогда вы видели бы скопление точек вокруг точки руки, но могли бы вообразить, как точка руки отдаляется от остальных. Таким образом, хотя физическая реальность руки (то есть объект, которому соответствует точка) была бы идентична физическим реальностям пальцев, большого пальца и ладони (состояла бы строго из них), вы не смогли бы увидеть этот факт; даже если бы кто-то вам об этом сказал или вы сами догадались по соответствию точек, вы бы лишь знали о факте редукции, но не видели его. Вы по-прежнему могли бы вообразить, как точка руки движется независимо, пусть даже при неизменном физическом устройстве датчиков такое было бы физически невозможно.

Или, на еще более низком уровне связывания, люди могли бы просто сказать вам: «Вон там рука, а вон там пальцы» — и в этом случае вы знали бы