Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Очевидный ответ заключается в том, что вы взяли вычислительную спецификацию человеческого мозга и использовали её, чтобы заранее рассчитать Гигантскую таблицу поиска. (Тем самым создав бесчисленные гуголы человеческих существ, некоторые из которых испытывают невыносимую боль, а подавляющее большинство совершенно сошло с ума во вселенной хаоса, где входные сигналы никак не связаны с выходными. Но к черту этику, это же ради философии.)

В этом случае GLUT действительно пишет статьи о сознании благодаря сознательному алгоритму. GLUT — никакой не зомби, точно так же как мобильный телефон не является зомби из-за того, что может говорить о сознании, будучи всего лишь небольшим бытовым электронным устройством. Телефон просто передает философские речи того, кто оказался на другом конце провода. GLUT, созданная на основе исходной спецификации человеческого мозга, делает то же самое.

«Хорошо, — говорит философ, — GLUT была создана случайным образом и совершенно случайно обладает теми же соотношениями входов и выходов, что и некий эталонный человек».

Как именно вы случайно сгенерировали GLUT?

«Мы использовали источник истинной случайности — квантовое устройство».

Но квантовое устройство лишь выполняет инструкцию «ветвления в обе стороны»; когда вы генерируете бит с помощью квантового источника случайности, детерминированным результатом будет то, что один набор ветвей вселенной (локально связанных облаков амплитуды) видит единицу, а другой набор вселенных — ноль. Сделайте это четыре раза и создадите 16 (наборов) вселенных.

Так что, по сути, это всё равно что сказать, будто вы получили GLUT, записав все возможные последовательности нулей и единиц нужной длины в чертовски огромный бак с таблицами поиска, а затем запустили туда руку и каким-то образом вытащили именно ту GLUT, которая совпала со спецификацией человеческого мозга. Откуда же взялась невероятность?

Ведь если это не было просто совпадением — если у вас была какая-то функция запуска руки в бак, которая вытащила соответствующую человеку GLUT по замыслу, а не случайно, — тогда эта функция сама по себе, вероятно, сознательна, и значит, GLUT — это снова мобильный телефон, а не зомби. Он подключен к человеку через два посредника, а не через одного, но это всё ещё мобильный телефон! Отличная попытка скрыть источник невероятности!

И посмотрите, куда привела нас игра «Проследи за невероятностью»: где же источник того, что язык этого тела рассуждает о внутреннем слушателе? Сознание — не в таблице поиска. Сознание — не на фабрике, которая производит кучу возможных таблиц поиска. Сознание было в том, что указало на одну конкретную, уже изготовленную таблицу поиска и сказало: «Используй эту!»

Теперь понятно, почему я ввел игру «Проследи за невероятностью». Обычно, когда мы разговариваем с человеком, мы склонны думать, будто то, что находится у него в черепной коробке, и есть то самое место, «где обитает сознание». И только играя в «Проследи за невероятностью», мы можем осознать, что истинный источник происходящего разговора — это то, что отвечает за невероятность самого этого разговора, как бы далеко во времени или пространстве оно ни находилось, подобно тому как Солнце приводит в движение заводную игрушку.

«Нет-нет! — говорит философ. — В мысленном эксперименте они не генерируют случайным образом множество GLUT, чтобы потом с помощью сознательного алгоритма выбрать одну GLUT, похожую на человека! Я постулирую, что в этом мысленном эксперименте они запускают руку в невообразимо огромный бак с GLUT и по чистой случайности вытаскивают GLUT, входы и выходы которой идентичны входам и выходам человеческого мозга! Вот! Теперь я загнал вас в угол! Вы больше не сможете играть в «Проследи за невероятностью»!»

Оу. Значит, источником невероятности здесь является само ваше допущение.

И если мы снова сыграем в «Проследи за невероятностью», то окажемся за пределами мысленного эксперимента, глядя на философа.

То, что указывает на одну-единственную GLUT, рассуждающую о сознании, изо всего гигантского пространства возможностей — это теперь… сознательный человек, который просит нас представить этот сценарий. И наш собственный мозг, который заполнит пробел, когда мы станем воображать: «Что ответит эта GLUT на просьбу „Расскажи о своём внутреннем слушателе“?»

Мораль этой истории в том, что когда вы прослеживаете вспять рассуждения о «сознании», вы обычно находите само сознание. Оно не всегда лежит прямо перед вами. Иногда оно спрятано очень искусно. Но оно там есть. Отсюда — Обобщённый антизомби-принцип.

Если существует Хозяин зомби в виде чат-бота, который обрабатывает и переиначивает любительские рассуждения людей о «сознании», то люди, создавшие исходный корпус текстов, сознательны.

Если однажды вы поймёте природу сознания, оглянетесь назад и увидите, что можно написать программу, выдающую путаные философские рассуждения, которые чертовски похожи на человеческие, хотя сама она при этом сознанием не обладает, — то на мой вопрос «Как же вышло, что эта программа зазвучала похоже на людей?» ответом будет то, что вы написали её так, чтобы она звучала похоже на сознательных людей, а не выбирали её по критерию сходства с чем-то другим. Это не значит, что ваш маленький Хозяин зомби сознателен, — но это значит, что я могу найти сознание где-то во Вселенной, если прослежу причинно-следственную связь обратно к истоку, а значит, мы находимся не совсем в Мире зомби.

Но предположим, что кто-то на самом деле запустил руку в бак с GLUT и по совершенно чистой случайности вытащил GLUT, которая пишет философские статьи?

Ну, тогда она не была бы сознательной. По моему скромному мнению.

Я хочу сказать, здесь должно быть нечто большее, чем просто входы и выходы.

Иначе даже GLUT была бы сознательной, верно?

Ах да, и для тех из вас, кому интересно, как всё это связано с моей основной работой…

В нашей сфере деятельности постоянно сталкиваешься с кучей людей, которые думают, будто произвольно созданный мощный ИИ будет «моральным». Они не могут договориться между собой ни о том, почему это так, ни о том, что они вообще понимают под словом «моральный», но все сходятся на том, что разрабатывать теорию Дружественного ИИ совершенно ни к чему. И когда вы спрашиваете их, каким образом произвольно созданный ИИ придет к моральным результатам на выходе, они предлагают сложные, ориентированные на ИИ рационализации того, что сами считают «моральным»; и с этим связано множество всевозможных проблем, но главная из них звучит так: «А вы уверены, что ИИ пойдёт тем же путём рассуждений, который вы выдумали для обоснования человеческой морали, если ИИ, в отличие от вас, изначально даже не знает, что именно вы