Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Полагаю, мои взгляды на этот счёт были довольно ясно изложены в «Простой истине».

Мне кажется довольно простой задачей построить карты, систематически коррелирующие с территориями, не упоминая при этом ничего, кроме чистой физической причинности. ИИ выдаёт карту Техаса. Другой ИИ летит с этой картой в Техас и проверяет, находятся ли шоссе на соответствующих местах, чирикая «Истина», когда обнаруживает совпадение, и «Ложь» — при несовпадении. Вы можете отказываться называть это «картой Техаса», но сами ИИ всё равно будут чирикать «Истина» или «Ложь», и упомянутые ИИ прочирикают «Ложь», когда посмотрят на веру Чалмерса в эпифеноменальное внутреннее ядро, и лично я с ними соглашусь.

Совершенно очевидно, что функция картирования реальности выполняется исключительно Внешним Чалмерсом. Весь процесс создания репрезентаций убеждений обеспечивается байесовской структурой в каузальных взаимодействиях. Внутреннему Чалмерсу не остаётся ничего другого, кроме как благословить всё это действо эпифеноменальным смыслом. При этом под «смыслом» здесь понимается нечто, совершенно не связанное с систематическим соответствием карты и территории или со способностью использовать эту карту для ориентирования в реальности. Поэтому, когда речь заходит о «точности», не говоря уже о «систематической точности», мне кажется, мы должны иметь возможность определять её, глядя исключительно на Внешнего Чалмерса.

(Б) В тексте за вчерашний день я упустил одно допущение, когда писал:

Если самомодифицирующийся ИИ смотрит на ту свою часть, которая при условии А делает вывод «B» — на часть себя, которая записывает «B» в память всякий раз, когда условие А истинно, — и если ИИ исследует эту часть, определяет, как она (причинно) функционирует в контексте остальной вселенной, и решает, что эта часть систематически склонна записывать в память ложные данные, то ИИ обнаружит нечто похожее на баг и самомодифицируется так, чтобы не записывать «B» в пул убеждений при условии А.

. . .

Но нет никаких оснований для Внешнего Чалмерса или для любого рефлексивно согласованного самоисследующего ИИ верить в эту таинственную правильность. Хорошая архитектура ИИ должна, на мой взгляд, представлять собой рефлексивно согласованный интеллект с проверяемой теорией того, как он функционирует в качестве причинно-следственной системы, а следовательно, с проверяемой теорией того, как эта причинно-следственная система вырабатывает систематически точные убеждения на пути к достижению своих целей.

Собственно говоря, к вышесказанному требуется дополнительное допущение, а именно то, что «хорошая архитектура ИИ» (во всяком случае, та, о которой я думал) оценивает собственную рациональность модульным образом: она обеспечивает глобальную рациональность за счёт обеспечения локальной рациональности. Если существует компонент, который относительно своего контекста локально систематически ненадёжен — для некоторых возможных убеждений «Bi» и условий Ai он добавляет некоторое «Bi» в пул убеждений при локальном условии Ai, в то время как рефлексия системы показывает, что Bi ложно (или, в случае вероятностных убеждений, неточно), когда локальное условие Ai истинно, — то это баг. Подобная модульность — это один из способов сделать задачу решаемой, и именно так я сейчас представляю себе проектирование ИИ первого поколения. [Дополнение 2013 г.: Идея, которую я имел здесь в виду, к настоящему моменту подробно изложена и формализована в разделе 6 статьи «Плиточные агенты для самомодифицирующегося ИИ».]

Идея заключается в том, что причинно-замкнутая когнитивная система — такая как ИИ, спроектированный программистами так, чтобы использовать только причинно-действенные элементы; или ИИ, чья теория собственного функционирования полностью проверяема; или Внешний Чалмерс, пишущий философские статьи, — которая верит, что у неё есть эпифеноменальное внутреннее «я», неизбежно делает нечто систематически ненадёжное, поскольку в Мире зомби она пришла бы к точно такому же выводу. Разум, все части которого систематически локально надёжны относительно своего контекста, был бы систематически глобально надёжен. Следовательно, глобально ненадёжный разум должен содержать как минимум одну локально ненадёжную часть. Таким образом, причинно-замкнутая когнитивная система, проверяющая себя на локальную надёжность, должна обнаружить, что по крайней мере один шаг, приведший к добавлению убеждения об эпифеноменальном внутреннем «я», ненадёжен.

Если существуют другие способы сделать разум рефлексивно согласованным, позволяющие обойти это доказательство несостоятельности зомби, философы могут попытаться их описать.

Причина, по которой мне приходится всё это уточнять, заключается в том, что иначе мы получим крайне дешёвую рефлексивную согласованность, при которой ИИ никогда не сможет признать себя ненадёжным. Например, если ИИ обнаружит у себя компонент, который вычисляет «2 + 2 = 5» (в контексте подсчёта овец), то ИИ рассудит так: «Ну, эта часть работает со сбоями и утверждает, что 2 + 2 = 5… но, по чистой случайности, 2 + 2 действительно равно 5, по крайней мере, мне так кажется… поэтому, хотя этот компонент и выглядит систематически ненадёжным, мне лучше оставить всё как есть, иначе он неправильно обработает этот особый случай». Вот почему я говорю об обеспечении глобальной надёжности через обеспечение локальной систематической надёжности: если просто сравнивать свои глобальные убеждения со своими же глобальными убеждениями, далеко не уйдёшь.

Из этого можно извлечь общий урок: показывайте, что ваши аргументы глобально надёжны благодаря локальной надёжности каждого отдельного шага; не ограничивайтесь простым сравнением выводов этих аргументов со своими интуициями. [Дополнение 2013 г.: См. статью «Доказательства, импликации и модели», где обсуждается тот факт, что корректная логика локально корректна.]

(C) Анонимный комментатор написал:

Это замечание на полях, но, полагаю, ваша этимология слова «н’шама» неверна. Оно родственно слову «дыхание», а не «слышать». Корень слова «слышать» содержит букву аин, которой в «н’шама» нет.

Вот это я называю поистине чудесным обманчивым совпадением! Хотя слово Н’шама возникло по совершенно иным причинам, оно звучало именно так, как нужно, чтобы заставить меня подумать, будто оно относится к внутреннему слушателю.

Упс.

*

223. Обобщенный антизомбийный принцип. Каждая решенная мною задача становилась правилом, служившим впоследствии для решения других задач. — Рене Декарт, «Рассуждение о методе»1.

«Зомби» — это гипотетические существа, поатомно идентичные нам и подчиняющиеся точно таким же наблюдаемым со стороны физическим законам, за тем лишь исключением, что у них нет сознания.

Хотя философская сторона вопроса сложна, суть аргумента против зомби проста: когда вы направляете свое внутреннее осознание на свое же внутреннее осознание, ваш внутренний нарратив (тот тихий голосок в вашей голове, который озвучивает мысли) вскоре после этого произносит: «Я осознаю, что осознаю», а затем вы говорите это вслух, набираете на клавиатуре компьютера и создаете видимый для стороннего наблюдателя пост в блоге.

Сознание, чем бы оно ни было —