Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— говорит Мыслитель 1, — у слов "тепло" и "движение" два разных значения; именно поэтому у нас есть два разных слова. Мы знаем, как определить, когда назвать наблюдаемое явление "теплом" — тепло может плавить вещи или заставлять их загораться. Мы знаем, как определить, когда сказать, что объект "движется быстро" — он меняет положение; а когда он сталкивается с чем-то, он может деформироваться или разбиться. Тепло связано с изменением вещества; движение — с изменением положения и формы. Утверждать, что эти два слова имеют одно и то же значение, — значит просто запутывать себя самого».

«Невозможно, — говорит Мыслитель 2. — Возможно, в нашем мире тепло и движение связаны связующими законами, так что закон физики гласит, что движение порождает теплород, и наоборот. Но я легко могу представить себе мир, где трение вещей друг о друга не делает их горячее, а газы не оказывают большего давления при более высоких температурах. Поскольку существуют возможные миры, где тепло и движение не связаны, они должны быть разными свойствами — это истинно априори».

Мыслитель 1 путает выражение в кавычках и референт (то, на что оно ссылается): 2 + 2 = 4, но «2 + 2» ≠ «4». Строка «2 + 2» содержит пять символов (включая пробелы), а строка «4» содержит только один символ. Если вы введете обе эти строки в интерпретатор Python, они выдадут один и тот же результат: >>> 4. Таким образом, глядя на строки «2 + 2» и «4», нельзя сделать вывод, что раз уж эти строки разные, то они должны иметь разные «значения» для интерпретатора Python.

Можно сказать, что слова «тепло» и «кинетическая энергия» «ссылаются» на одно и то же, даже до того, как мы узнаем, как тепло сводится к движению — в том смысле, что мы пока не знаем, каков референт, но на самом деле референты совпадают. Представьте себе Идеализированный Всеведущий Научный Интерпретатор, который выдавал бы одинаковый результат, введи мы в командной строке «тепло» и «кинетическую энергию».

Я говорю о Научном Интерпретаторе, чтобы подчеркнуть: чтобы разыменовать указатель, вам нужно выйти за пределы мышления. Конечный результат разыменования — это нечто во внешней реальности, а не в чьем-то разуме. Так что вы можете сказать «реальный референт» или «фактический референт», но вы не можете локально вычислить значение этих слов внутри собственной головы. Вы не можете рассуждать с помощью самого фактического референта тепла — если бы вы думали с помощью реального тепла, то одна только мысль о «миллионе кельвинов» испарила бы ваш мозг. Но, сформировав убеждение о своем убеждении о тепле, вы можете говорить о своем убеждении о тепле и говорить что-то вроде: «Возможно, мое убеждение о тепле не очень похоже на реальное тепло». Вы не можете на самом деле провести это сравнение прямо у себя в уме, но вы можете говорить об этом.

Отсюда вы можете сказать: «Мои убеждения о тепле и движении — это не одни и те же убеждения, но вполне возможно, что реальное тепло и реальное движение — это одно и то же». Это точно так же, как способность признать, что «утренняя звезда» и «вечерняя звезда» могут быть одной и той же планетой, одновременно понимая, что вы не можете определить это, просто изучая свои убеждения — вам придется достать телескоп.

Ошибка Мыслителя 2 объясняется схожим образом. Физик сказал ему: «Там, где есть тепло, есть и движение», и Мыслитель 2 ошибочно принял это за формулировку физического закона: наличие теплорода вызывает существование движения. То, что физик имеет в виду на самом деле, больше похоже на правило вывода: если вам говорят, что есть «тепло», делайте вывод о наличии «движения».

Из этой базовой проекции многоуровневой модели на многоуровневую реальность следует еще одна, отдельная ошибка: смешение концептуальной возможности с логической возможностью. Для Сади Карно вполне представимо, что мог бы существовать другой мир, где тепло и движение никак не связаны. Для Ричарда Фейнмана, вооруженного конкретным знанием того, как выводить уравнения, описывающие тепло, из уравнений движения, эта идея не просто немыслима, но настолько дико противоречива, что от нее буквально взрывается мозг.

Справедливости ради по отношению к философам отмечу, что некоторые из них утверждали то же самое. Например, Хилари Патнэм, рассуждая о мысленном эксперименте «Двойник Земли»:1

Как только мы выяснили, что вода (в реальном мире) — это H2O, ничто уже не может считаться возможным миром, в котором вода не является H2O. В частности, если «логически возможное» утверждение — это то, которое истинно в некотором «логически возможном мире», то логически невозможно, чтобы вода не была H2O.

С другой стороны, мы вполне можем представить себе опыт, который убедил бы нас (и сделал бы рациональной веру в то), что вода не является H2O. В этом смысле представимо, что вода не является H2O. Это представимо, но логически невозможно! Представимость — не доказательство логической возможности.

Мне кажется, что в этих двух абзацах слово «вода» используется в двух разных значениях: в первом случае слово «вода» ссылается на то, что мы вводим в Научный Интерпретатор, а во втором — «вода» ссылается на то, что мы получаем из Научного Интерпретатора, когда вводим туда это слово. В первом абзаце Хилари, похоже, утверждает, что после того как мы проведем эксперименты и выясним, что вода — это H2O, значение слова «вода» автоматически переопределяется и начинает означать H2O. Но можно вполне последовательно придерживаться и иной позиции относительно того, означает ли теперь слово «вода» «H2O» или же «то, что на самом деле находится в бутылке рядом со мной», — при условии, что вы используете термины последовательно.

Полагаю, всё это тоже уже кем-то высказывалось? Как бы то ни было...

Вполне возможно, что во внешнем мире существует лишь одна-единственная вещь, но она принимает настолько разные формы, а вы сами настолько не подозреваете о её редукции, что вам кажется, будто вы живете в мире, содержащем две абсолютно разные вещи. Знания, касающиеся этих двух разных феноменов, могут преподаваться в рамках двух разных курсов и изучаться в рамках двух разных академических дисциплин, находящихся в двух разных зданиях вашего университета.

Нужно мысленно перенестись далеко в прошлое, настроиться на исторически реалистичный лад, чтобы вспомнить, насколько разными когда-то казались тепло и движение. Впрочем, в зависимости от того, каков ваш багаж знаний сегодня, это может оказаться не так уж и сложно — если