Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

БЕРНИС: «Это же меня убьёт! Там больше не будет сознательного существа».

ЧАРЛЬЗ: «Ну, сознательное существо там всё-таки останется, но это буду не я.»

СЭР РОДЖЕР ПЕНРОУЗ: «Мысленный эксперимент, который вы предлагаете, невозможен. Вы не можете продублировать поведение нейронов, не задействовав квантовую гравитацию. С учетом сказанного, мне нет особого смысла дальше участвовать в этом разговоре». (Удаляется.)

АЛЬБЕРТ: «Предположим, что замена производится по одному нейрону за раз, и этот обмен происходит настолько быстро, что это никак не влияет на глобальную обработку информации».

БЕРНИС: «Да как такое вообще возможно?»

АЛЬБЕРТ: «Маленький робот подплывает к нейрону, окружает его, сканирует, учится имитировать его и затем внезапно перехватывает управление поведением — в промежутке между одним импульсом и следующим. Фактически, имитация получается настолько хорошей, что ваше внешнее поведение остаётся точно таким же, каким оно было бы, если бы мозг не трогали. Может быть, не совсем таким же, но причинно-следственное воздействие оказывается гораздо меньше теплового шума при температуре 310 Кельвинов».

ЧАРЛЬЗ: «Ну и что?»

АЛЬБЕРТ: «Значит, ваши убеждения нарушают Обобщенный антизомбийный принцип? Что бы сейчас ни произошло, это не изменило ваш внутренний монолог! Вы будете продолжать говорить о сознании ровно по той же причине, что и раньше».

БЕРНИС: «Эти маленькие роботы — это Кукловод зомби. Они заставят меня говорить о сознании, хотя у меня не будет сознания. Зомби-мир возможен, если допустить существование добавочного, дополнительного, экспериментально обнаруживаемого Кукловода зомби — и эти роботы как раз им и являются».

ЧАРЛЬЗ: «О нет, это не так, Бернис. Маленькие роботы не замышляют, как бы им подделать сознание, и не обрабатывают массив текстов, написанных людьми-любителями. Они делают то же самое, что и нейроны, только из кремния, а не из углерода».

АЛЬБЕРТ: «Погоди, разве ты только что со мной не согласился?»

ЧАРЛЬЗ: «Я никогда не говорил, что у нового человека не будет сознания. Я сказал, что это буду не я.»

АЛЬБЕРТ: «Что ж, очевидно, что Антизомбийный принцип обобщается и утверждает, что эта операция не нарушила истинную причину того, почему ты рассуждаешь об этом самом «я»».

ЧАРЛЬЗ: «Ну уж нет! Твоя операция совершенно точно нарушила истинную причину моих разговоров о сознании. Она подставила на её место другую причину — роботов. И то, что эта новая причина тоже оказывается сознательной — рассуждает о сознании по той же обобщенной причине, — вовсе не означает, что это та же самая причина, которая была там изначально».

АЛЬБЕРТ: «Но мне даже не пришлось бы рассказывать тебе об операции с роботами. Ты бы ничего не заметил. Если, основываясь на данных интроспекции, ты считаешь, что в некоем важном смысле ты являешься „тем же человеком“, что и пять минут назад, а я делаю с тобой нечто такое, что не меняет доступные тебе данные интроспекции, то твой вывод о том, что ты тот же человек, что и пять минут назад, должен быть столь же обоснованным. Разве Обобщенный антизомбийный принцип не гласит, что если я сделаю с тобой что-то, что изменит твое сознание — не говоря уже о том, чтобы сделать тебя совершенно другим человеком, — то ты должен как-то это заметить?»

БЕРНИС: «Только не в том случае, если ты заменишь меня Кукловодом зомби. Тогда там просто некому будет замечать».

ЧАРЛЬЗ: «Интроспекция несовершенна. Внутри моего мозга происходит куча вещей, которых я не замечаю».

АЛЬБЕРТ: «Ты постулируешь эпифеноменальные факты о сознании и тождестве личности!»

БЕРНИС: «Ничего подобного! Я могу экспериментально обнаружить разницу между нейронами и роботами».

ЧАРЛЬЗ: «Ничего подобного! Я могу экспериментально зафиксировать момент, когда прежний я заменяется новым человеком».

АЛЬБЕРТ: «Ага, а я могу зафиксировать щелчок выключателя! Вы обнаруживаете то, что не вносит заметной разницы в истинную причину ваших разговоров о сознании и тождестве личности. И доказательство тому — после этого вы будете говорить точно так же».

БЕРНИС: «Это всё из-за твоего роботизированного Кукловода зомби!»

ЧАРЛЬЗ: «То, что два человека рассуждают о „тождестве личности“ по схожим причинам, ещё не делает их одним и тем же человеком».

Я думаю, что Обобщенный антизомбийный принцип поддерживает позицию Альберта, но обоснование этого придется отложить до будущих эссе. Мне понадобятся другие предпосылки, да и к тому же это эссе уже и так слишком затянулось.

Но вы понимаете всю важность вопроса: «Как далеко можно обобщить Антизомбийный аргумент, чтобы он при этом оставался в силе?»

От ответа на него может зависеть облик будущих галактических цивилизаций...

*

Рене Декарт, «Рассуждение о методе», т. 45 (Librairie des Bibliophiles, 1887).

224. ОАЗП против ГТП. В эссе «Немыслимая нелепость зомби» Дэниел Деннет пишет:1.

На сегодняшний день несколько философов сообщили мне, что планируют принять мой вызов и предложить защиту зомби без предвосхищения основания, однако единственная попытка, которую я видел до сих пор, предполагает постулирование «логически возможного», но фантастического существа — потомка воображаемой Недом Блоком «Гигантской таблицы поиска»…

На языке программистов «Гигантская таблица поиска» (ГТП) — это когда вы реализуете функцию в виде огромной таблицы входных и выходных данных, обычно для того, чтобы сэкономить время вычислений при работе программы. Если моей программе нужно узнать произведение двух чисел от 1 до 100, я могу написать алгоритм умножения, производящий вычисления при каждом вызове функции, а могу заранее рассчитать Гигантскую таблицу поиска на 10 000 записей с двумя индексами. Бывают случаи, когда вы действительно хотите так поступить — хотя и не ради умножения, — например, когда функция используется очень часто, а количество возможных входных значений невелико; или когда процессорное время дешево во время инициализации, но критически дорого в процессе выполнения.

Гигантские таблицы поиска разрастаются до колоссальных размеров невероятно быстро. ГТП для всех возможных диалогов глубиной в двадцать реплик по десять слов в каждой, с использованием базового английского (Basic English) объемом всего в 850 слов, потребовала бы 7,6 × 10585 записей.

Замена человеческого мозга Гигантской таблицей поиска всех возможных сенсорных сигналов и моторных откликов (в рамках какой-нибудь детальной схемы оцифровки) потребовала бы немыслимо огромного объема памяти. Но «в принципе», как любят выражаться философы, это сделать можно.

ГТП не является зомби в классическом смысле, поскольку микрофизически она не похожа на человека. (На самом деле ГТП не может по-настоящему работать по тем же физическим законам, что и человек —