Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Одна из причин, по которой люди запутываются в словах, заключается в том, что они не понимают, какая сложность за ними скрывается.

Можете ли вы представить себе «зеленую собаку»? Можете ли вы представить «сырное яблоко»?

«Яблоко» — это не просто последовательность из трех слогов или шести букв. Это лишь тень. Кончик хвоста тигра.

Слова, а точнее стоящие за ними концепты, — это кисти: с их помощью вы можете рисовать образы в собственном сознании. Рисовать в буквальном смысле, если вы задействуете концепты для создания картинки в зрительной коре. А используя общие ярлыки, вы можете проникнуть в чужой разум и взять его кисти, чтобы нарисовать картины в его голове — набросать маленькую зеленую собачку в их зрительной коре.

Но не думайте, будто из-за того, что вы посылаете слоги по воздуху или буквы через интернет, именно эти слоги или буквы рисуют картинки в зрительной коре. Для этого требуются сложные инструкции, которые никак не поместились бы в последовательность букв. «Яблоко» — это всего 6 байт, а на то, чтобы нарисовать яблоко с нуля, потребовалось бы гораздо больше данных.

«Яблоко» — это лишь ярлык, прикрепленный к истинному и бессловесному концепту яблока, который может нарисовать картину в вашей зрительной коре, или столкнуться с «сыром», или распознать яблоко, когда вы его видите, или почувствовать его архетипический вкус в яблочном пироге, а возможно, даже запустить двигательную программу для поедания яблока...

И это не так просто, как обычный вызов картинки из памяти. Иначе как бы вы смогли представить такое сочетание, как «треугольная лампочка» — придав треугольность лампочке и сохранив суть обоих понятий, даже если вы никогда в жизни не видели ничего подобного?

Не повторяйте ошибку бихевиористов. Речь — это гораздо больше, чем просто колебания воздуха. Ярлыки — это всего лишь указатели: «посмотри в область памяти 1387540». Рано или поздно, когда вам передают указатель, приходит время его разыменовать и действительно заглянуть в область памяти 1387540.

На что же указывает слово?

*

1. Stephen M. Kosslyn, Image and Brain: The Resolution of the Imagery Debate (Cambridge, MA: MIT Press, 1994).

179. Ошибки переменного вопроса.

АЛЬБЕРТ: «Каждый раз, когда я слышал, как падает дерево, оно издавало звук, так что я полагаю, что и другие падающие деревья тоже издают звуки. Я не верю, что мир меняется, когда я на него не смотрю».

БЭРРИ: «Погоди-ка. Если никто его не слышит, как это может быть звуком?»

Сочиняя диалог Альберта и Бэрри в их споре о том, издает ли звук падающее в глухом лесу дерево, я ловил себя на том, что временами перестаю сопереживать своим персонажам. Я начинал терять интуитивное понимание того, почему хоть кто-то вообще стал бы так спорить, хотя сам не раз наблюдал подобное.

В такие моменты я повторял про себя: «Падающее дерево либо издает звук, либо нет!», чтобы вернуть себе позаимствованное чувство возмущения.

«Р или не-Р» — не всегда надежная эвристика, если подставлять вместо Р произвольные предложения. Предложение «Это предложение ложно» невозможно последовательно трактовать как истинное или ложное. Ну и старая классика: «Ты уже перестал бить свою жену?»

Конечно, если вы математик и придерживаетесь классической (а не интуиционистской) логики, то найдутся способы и дальше настаивать на том, что «Р или не-Р» — это теорема: например, заявив, что «Это предложение ложно» не является предложением.

Но подобные решения весьма тонки, что само по себе доказывает потребность в тонком подходе. Нельзя в любой ситуации просто переть напролом со своим «Либо да, либо нет!»

Так издает ли падающее дерево звук, или нет, или... ?

Уж конечно, либо 2 + 2 = Х, либо нет? Ну, возможно, если это действительно один и тот же Х, те же самые двойки, и те же самые «+» и «=». Если в одних случаях значением Х оказывается 5, а в других — 4, то ваше возмущение может быть неуместным.

Чтобы вообще заявлять, будто «Р или не-Р» должно быть необходимой истиной, символ Р должен означать точно то же самое в обеих частях дилеммы. «Либо падение издает звук, либо нет!» — но если Альберт::звук — это не то же самое, что Бэрри::звук, то нет ничего парадоксального в том, что дерево издает Альберт::звук, но не Бэрри::звук.

(Обозначение с двойным двоеточием «::» я перенял еще во времена программирования на C++, где оно использовалось во избежание конфликтов пространств имен. Если у вас есть два разных пакета, в которых определен класс Sound, вы можете написать Package1::Sound, чтобы уточнить, какой именно Sound имеется в виду. Думаю, этот прием не особо широко известен, а жаль: мне частенько хочется использовать его на письме.)

Эта изменчивость может быть завуалированной: Альберт и Бэрри могут тщательно проверить, что речь идет об одном и том же дереве, в одном и том же лесу и в один и тот же момент падения, просто чтобы убедиться, что их спор по существу касается абсолютно одного и того же события. И при этом забыть проверить, соотносят ли они это событие с одним и тем же понятием.

Подумайте о продуктовом магазине, в который вы ходите чаще всего: он находится на левой стороне улицы или на правой? Но, разумеется, никакой «абсолютной левой стороны» у улицы нет, есть только ваша левая сторона, когда вы движетесь по ней в определенном направлении. Многие используемые нами слова на самом деле представляют собой функции от неявных переменных, задаваемых контекстом.

На самом деле это жуткая головная боль, требующая чертовски много работы, — решать подобную проблему в программе искусственного интеллекта, предназначенной для синтаксического разбора языка; это явление известно под названием «дейксис говорящего».

«Мартин сказал Бобу, что здание находится слева от него». Но слово «слева» — это слово-функция, которая вычисляется на основе зависимой от говорящего переменной, невидимо извлекаемой из окружающего контекста. Чье «слева» имеется в виду — Боба или Мартина?

Переменные в ошибке переменного вопроса зачастую не снабжены аккуратными ярлыками — всё далеко не так просто, как в вопросе: «Слушай, как по-твоему, Z + 2 равно 6?»

Если конфликт пространств имен сталкивает два разных понятия, которые кажутся «одним и тем же понятием», поскольку называются одинаково, — или сжатие карты объединяет два разных события, которые выглядят