Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

вере в сознание не может быть обосновано как результат процесса, который систематически выдаёт истинные убеждения, поскольку его двойник-зомби пишет те же самые работы, используя тот же самый систематический процесс, но при этом ошибается.

Чалмерс признаёт это. Более того, Чалмерс очень подробно излагает этот аргумент в своей книге. Итак, Чалмерс убедительно доказал, что его вера в эпифеноменальное сознание необоснованна, верно? Нет. Чалмерс пишет:

Сознательный опыт лежит в центре нашей эпистемической вселенной; мы имеем к нему доступ непосредственно. Это поднимает вопрос: что же обосновывает наши убеждения о нашем опыте, если это не причинная связь с этим опытом и не механизмы, с помощью которых эти убеждения формируются? Думаю, ответ здесь ясен: именно обладание опытом обосновывает эти убеждения. Например, сам факт того, что я сейчас испытываю переживание красного, даёт обоснование для моего убеждения в том, что я испытываю переживание красного...

Поскольку у моего двойника-зомби нет опыта, он находится в совершенно иной эпистемической ситуации, нежели я, и его суждения лишены соответствующего обоснования. Может возникнуть искушение возразить, что если моё убеждение лежит в физической сфере, то и его обоснование должно лежать в физической сфере; но это non sequitur. Из того факта, что в физической сфере нет обоснования, можно сделать вывод, что физическая часть меня (скажем, мой мозг) не имеет обоснования для своего убеждения. Но вопрос в том, обоснован ли я в своём убеждении, а не в том, обоснован ли мой мозг в своём убеждении, и если дуализм свойств верен, то я — это нечто большее, чем мой мозг.

Итак — если я правильно понял этот тезис, — существует некое глубинное «я», находящееся вне и помимо вашего мозга, которое верит, что оно не зомби, и напрямую испытывает то, что оно не зомби; и потому его убеждения обоснованны.

Но ведь Чалмерс только что записал всё это в своей совершенно физической книге, и зомби-Чалмерс сделал точно так же.

Зомби-Чалмерс не мог написать книгу из-за существования глубинного «я» зомби, находящегося вне его мозга; должна быть какая-то совершенно иная причина, лежащая в рамках законов физики.

Отсюда следует, что даже если где-то внутри Чалмерса и существует скрытая сознательная часть, которая верит в сознание — непосредственно и без посредников, — то существует также и отделимое подпространство Чалмерса: причинно замкнутая когнитивная подсистема, которая действует полностью внутри физики. И именно это «внешнее я» озвучивает внутренний нарратив Чалмерса и пишет статьи о сознании.

Я не вижу ни единого способа избежать обвинения в том, что, согласно собственной теории Чалмерса, этот отделимый внешний Чалмерс безумен. Это та часть Чалмерса, которая одинакова и в нашем мире, и в мире зомби; и в обоих мирах она пишет философские статьи о сознании безо всяких веских причин. Философские работы Чалмерса не являются продуктом этого внутреннего ядра осознанности и веры в осознанность; они порождены чистой физикой внутреннего нарратива, заставляющей пальцы Чалмерса ударять по клавишам компьютера.

И всё же этот безумный внешний Чалмерс пишет философские труды, которые совершенно случайно оказываются абсолютно верными благодаря отдельному и дополнительному чуду. Не логически необходимому чуду (ведь тогда мир зомби был бы логически невозможен). Физически случайному чуду, которое оказывается истинным в том мире, который мы считаем нашей вселенной, пусть даже наука никогда не сможет отличить нашу вселенную от мира зомби.

Или, по крайней мере, именно это, похоже, следует из того, что говорит нам этот сам себя признавший безумным внешний Чалмерс.

Думаю, я выражу мнение всех редукционистов, если скажу: «Что-что?»

Это даже не эпициклы. Это из серии: «Движения планет соответствуют этим эпициклам — но сами эпициклы на самом деле ничего не делают — планеты заставляет двигаться точно так же, как предписывают эпициклы, что-то другое, чего я пока объяснить не могу, — и, кстати, я бы утверждал то же самое, даже если бы никаких эпициклов вообще не существовало».

У меня нестандартный взгляд на философию, потому что я смотрю на всё с прицелом на создание ИИ; а конкретно — самосовершенствующегося сильного искусственного интеллекта (AGI) со стабильной структурой мотивации.

Размышляя о проектировании ИИ, я обдумываю такие принципы, как теория вероятностей, байесовское представление о свидетельстве как о дифференциальной диагностике и, прежде всего, рефлексивная когерентность. Любой самомодифицирующийся ИИ, который начинает работу в рефлексивно-некогерентном состоянии, долго в нём не задержится.

Если самомодифицирующийся ИИ смотрит на часть себя, которая выводит «Б» при условии А — часть себя, которая записывает «Б» в память всякий раз, когда условие А истинно, — и ИИ инспектирует эту часть, определяет, как она (причинно) функционирует в контексте вселенной в целом, и ИИ решает, что эта часть систематически склонна записывать в память ложные данные, то ИИ находит то, что кажется багом, и ИИ самомодифицируется так, чтобы не записывать «Б» в пул убеждений при условии А.

Любая эпистемологическая теория, игнорирующая рефлексивную когерентность, плохо подходит для конструирования самосовершенствующегося ИИ. С моей точки зрения, это сокрушительный аргумент, учитывая то, для чего именно я собираюсь использовать философию на практике. Так что мне в любом случае придётся изобрести рефлексивно-когерентную теорию. И когда я это делаю, ей-богу, оказывается, что рефлексивная когерентность имеет интуитивный смысл.

Вот в таком необычном ключе я и привык обо всём этом размышлять. И теперь я снова смотрю на Чалмерса:

Причинно замкнутый «внешний Чалмерс» (на которого никоим образом не влияет «внутренний Чалмерс» с его отдельным дополнительным осознанием и убеждениями) должен выполнять какую-то систематически ненадёжную, необоснованную операцию, которая каким-то необъяснимым образом заставляет его внутренний нарратив порождать убеждения о наличии «внутреннего Чалмерса», и эти убеждения оказываются верными безо всякой логической причины в том мире, который по случайности является нашей вселенной.

Но ни для внешнего Чалмерса, ни для любого рефлексивно-когерентного самоанализирующего ИИ нет никаких возможных оснований верить в эту таинственную правильность. На мой взгляд, хороший проект ИИ должен выглядеть как рефлексивно-когерентный разум, воплощённый в причинно-следственной системе, с проверяемой теорией того, как эта самая причинно-следственная система вырабатывает систематически точные убеждения на пути к достижению своих целей.

Таким образом, ИИ просканирует Чалмерса и увидит замкнутую причинно-следственную когнитивную систему, производящую внутренний нарратив, который несёт чепуху. Чепуху, которая, похоже, сильно влияет на то, кого, по мнению Чалмерса, следует считать морально ценной личностью.

Это не неизбежная проблема для теоретиков Дружественного ИИ. Это проблема только в том случае, если вы окажетесь эпифеноменалистом. Если вы верите либо редукционистам (сознание происходит внутри атомов), либо субстанциальным дуалистам (сознание — это обладающая причинной силой нематериальная субстанция), то люди, говорящие о