Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Карта — это не территория», — гласит известная поговорка. Единственная карта Калифорнии в масштабе один к одному, точная до последнего атома и на 100% верная, — это сама Калифорния. Но в Калифорнии есть важные закономерности, например, сеть её автомагистралей, которые можно описать, используя гораздо меньше информации — не говоря уже о гораздо меньшем количестве физического материала, — чем потребовалось бы для описания каждого атома в границах штата. Отсюда другая поговорка: «Карта — это не территория, но территорию нельзя сложить и засунуть в бардачок».

На бумажной карте Калифорнии в масштабе 10 километров в 1 сантиметре (один к миллиону) просто нет места, чтобы показать точное положение двух опавших листьев, лежащих в сантиметре друг от друга на тротуаре. Даже если бы на карте попытались изобразить эти листья, они слились бы в одну точку; или, точнее, минимальный размер деталей на такой карте должен был бы составлять 10 нанометров, что тоньше разрешения, доступного большинству типографий, не говоря уже о человеческом глазе.

Реальность огромна — только видимая её часть простирается на миллиарды световых лет. Но ваша карта реальности записана на паре фунтов нейронов, уложенных в вашем черепе. Я не хочу вас обидеть, но ваш череп крошечный. Сравнительно говоря.

А значит, неизбежно некоторые вещи, которые в реальности представляют собой разные объекты, на вашей карте будут сжаты в одну и ту же точку.

Однако «изнутри» это ощущается вовсе не так, будто вы говорите: «О, смотрите, я сжимаю две разные вещи в одну точку на моей карте». Изнутри это ощущается так, будто существует всего одна вещь, и вы её видите.

Достаточно маленький ребёнок — или достаточно древний греческий философ — и понятия не имели бы, что существуют такие вещи, как «акустические колебания» или «слуховые ощущения». Для них существовало бы только одно событие, происходящее при падении дерева, — единое явление под названием «звук».

Осознать, что за одной точкой на вашей карте стоят два совершенно разных события, — это, по сути, научная задача. Большая и сложная научная задача.

Иногда ошибки сжатия происходят из-за смешения двух известных явлений под одним ярлыком — вы знаете об акустических колебаниях и о слуховом восприятии в мозге, но называете и то, и другое «звуком», тем самым запутывая себя. Но куда более опасная ошибка сжатия возникает тогда, когда вы понятия не имеете, что две разные сущности вообще существуют. В вашей мысленной картотеке есть лишь одна папка с надписью «звук», и всё, что вы думаете о «звуке», попадает в неё. Дело не в том, что у вас есть две папки с одинаковым ярлыком; папка всего одна. По умолчанию карта всегда сжата — зачем мозгу создавать две ментальные корзины там, где достаточно одной?

Или представьте детективный роман, где главное озарение сыщика заключается в том, что у одного из подозреваемых есть близнец. В ходе обычной работы детектив просто отмечает, что Кэрол одета в красное, у неё чёрные волосы, а её сандалии кожаные — но всё это факты о Кэрол. Достаточно легко подвергнуть сомнению отдельный факт, например, ОдетаВКрасное(Кэрол) или ЧерныеВолосы(Кэрол). Возможно, утверждение ЧерныеВолосы(Кэрол) ложно. Может, Кэрол красит волосы. Может быть, КаштановыеВолосы(Кэрол). Но нужен более проницательный детектив, чтобы задуматься: а не стоит ли разделить на два файла саму Кэрол из ОдетаВКрасное(Кэрол) и ЧерныеВолосы(Кэрол) — то есть то досье на Кэрол, куда складываются все наблюдения? Вдруг существуют две Кэрол, и та, что была в красном, — это совсем не та женщина, у которой были чёрные волосы?

В данном случае гениальным озарением становится сам акт создания двух разных корзин. Куда проще подвергнуть сомнению свои факты, нежели свою онтологию.

Карта реальности в человеческом мозге, в отличие от бумажной карты Калифорнии, может динамически расширяться по мере того, как мы фиксируем всё более подробные описания. Однако изнутри это ощущается не столько как увеличение масштаба на карте, сколько как расщепление неделимого атома — когда вы берёте одну вещь (казавшуюся единой) и расщепляете её на две или более.

Часто это выражается в создании новых слов вроде «акустических колебаний» и «слуховых ощущений» вместо одного лишь «звука». Похоже, само создание нового названия позволяет выделить под него новую корзину. Детектив, скорее всего, начнёт называть одну из подозреваемых «Кэрол-2» или «Другая Кэрол» едва только осознает, что Кэрол на самом деле две.

Но расширение карты далеко не всегда сводится к простому придумыванию новых названий для городов. Требуется настоящее научное озарение, чтобы вообще понять, что такие вещи, как акустические колебания или слуховые ощущения, существуют.

Очевидной современной иллюстрацией могут служить такие слова, как «интеллект» или «сознание». Время от времени появляется очередной пресс-релиз, утверждающий, будто новое исследование «объяснило сознание», поскольку группа нейробиологов изучила электрический ритм частотой 40 Гц, который может иметь отношение к кросс-модальному связыванию сенсорной информации, или потому что они исследовали ретикулярную активационную систему, поддерживающую человека в бодрствующем состоянии. Это экстремальный пример, а обычные ошибки тоньше, но природа у них та же. Та часть «сознания», которая кажется людям наиболее интересной, — это рефлексия, самосознание, понимание того, что отражение в зеркале — это «я»; это, а также трудная проблема субъективного опыта, сформулированная Дэвидом Чалмерсом. Мы также называем «сознательным» состояние бодрствования, а не сна, в нашем суточном цикле. Но всё это совершенно разные концепты под одним и тем же именем, а лежащие в их основе феномены представляют собой разные научные загадки. Можно объяснить бодрствование, никак не объяснив рефлексию или субъективность.

Ошибки сжатия также лежат в основе уловки подмены понятий в философии: вы рассуждаете о «сознании» в рамках одного определения (например, как о способности думать о мышлении), а затем переносите выводы на «сознание» в другом определении (например, как на субъективный опыт). Конечно, вполне возможно, что это одно и то же, но если так, то для подлинного понимания этого факта потребовалось бы сначала концептуально разделить эти понятия и лишь затем совершить гениальный шаг по их воссоединению.

Расширение карты — это (повторюсь) научная задача: часть искусства науки, навык исследования мира. (И, разумеется, научную задачу невозможно решить, апеллируя к словарям, так же как нельзя овладеть сложным навыком исследования, заявляя: «Я могу определять слова как мне вздумается».) Если вы видите нечто единое и сбивающее с толку, обладающее изменчивыми и противоречивыми свойствами, резонно предположить, что ваша карта втискивает слишком много в одну-единственную точку — вам нужно расщепить её и завести новые корзины.