Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Возможно, приливная сила от этого крошечного притяжения по удивительному совпадению подтянет всего один лишний ион кальция на самую малость ближе к ионному каналу, заставив его втянуться туда чуть-чуть быстрее, из-за чего один-единственный нейрон сработает на бесконечно малую долю секунды раньше, чем в противном случае, и эта разница хаотически усилится, приведя в итоге к возникновению целого нервного импульса, который иначе бы не возник, уведет ваши мысли по другому руслу, что спровоцирует эпилептический припадок, который убьет вас, лишив вас сознания...

Если сложить множество крошечных количественных эффектов, получится большой количественный эффект — достаточно большой, чтобы повлиять на всё, что вы только можете назвать. И поэтому утверждать, будто выключатель оказывает буквально нулевое влияние на то, что вам небезразлично, — значит заходить слишком далеко.

Но когда речь идет всего об одном выключателе, создаваемая им сила несопоставимо меньше тепловых неопределенностей, не говоря уже о квантовых. Если вы не ожидаете, что ваше сознание будет то появляться, то исчезать в результате теплового дрожания, то вам уж точно не стоит ожидать, что вы погаснете, как лампочка, когда кто-то чихнет за километр от вас.

Бдительный байесианец заметит, что я только что привел аргумент об ожиданиях, состояниях знания и обоснованных убеждениях касательно того, что может, а что не может отключить ваше сознание.

Это не обязательно рушит Антизомбийный аргумент. Вероятность — это не достоверность, но законы вероятности — это теоремы; если рациональность говорит, что вы не можете верить во что-то при вашей текущей информации, то это закон, а не рекомендация.

Тем не менее, эта версия Антизомбийного аргумента слабее. У нее нет того красивого, чистого, абсолютно четкого статуса утверждения: «Вы не можете устранить сознание, оставив все атомы точно на тех же местах». (Или замените «все атомы» на «все причины с принципиально обнаружимыми экспериментальным путем эффектами», а «те же места» — на «ту же волновую функцию» и т. д.)

Но новая версия Антизомбийного аргумента всё равно работает. Вы можете сказать: «Я не знаю, что такое сознание на самом деле, и подозреваю, что могу быть фундаментально запутан в этом вопросе. Но если это слово вообще хоть что-то означает, оно означает нечто, что, помимо прочего, является причиной того, что я говорю о сознании. Я не знаю, почему я говорю о сознании. Но это происходит внутри моего черепа, и я ожидаю, что это как-то связано с возбуждением нейронов. Или, возможно, если бы я действительно понимал сознание, мне пришлось бы говорить о еще более фундаментальном уровне, таком как микротрубочки или диффузия нейромедиаторов через синаптическую щель. Но всё же влияние, которое этот только что щелкнувший выключатель оказывает на мои нейромедиаторы и микротрубочки, гораздо, гораздо меньше, чем тепловой шум при 310 кельвинах. Поэтому, какова бы ни была истинная причина моих разговоров о сознании, я не думаю, что на нее как-то существенно повлияет гравитационное притяжение этого выключателя. Может быть, она испытает на себе лишь ничтожно малое влияние? Но уж точно не погаснет, как лампочка. Я ожидаю, что и дальше буду говорить о сознании почти точно так же, по почти точно тем же самым причинам».

Это применение Антизомбийного принципа слабее. Но оно также гораздо более универсально. И с точки зрения чистого здравого смысла — верно.

У редукциониста и субстанциального дуалиста на самом деле есть две разные версии приведенного выше утверждения. Редукционист вдобавок говорит: «Что бы ни заставляло меня говорить о сознании, весьма вероятно, что важные процессы происходят на гораздо более высоком функциональном уровне, чем атомные ядра. Тот, кто понимает сознание, мог бы абстрагироваться от возбуждения отдельных нейронов, рассуждать в терминах высокоуровневых когнитивных архитектур и при этом описать, как мой разум порождает мысли вроде „Я мыслю, следовательно, существую“. Так что сдвиг вещей на диаметр нуклона не должен влиять на мое сознание (разве что с очень малой вероятностью, или на совершенно ничтожную величину, или же с существенной задержкой)».

Субстанциальный дуалист вдобавок говорит: «Что бы ни заставляло меня говорить о сознании, это должно быть чем-то за пределами известной нам вычислительной физики, а значит, вполне может включать в себя квантовые эффекты. И всё же мое сознание не мигает, то включаясь, то выключаясь, каждый раз, когда кто-то чихает за километр от меня. Если бы это было так, я бы заметил. Это было бы похоже на выпадение нескольких секунд из жизни, на выход из общего наркоза или на то, что я иногда говорил бы: „Я не мыслю, следовательно, не существую“. Так что, поскольку физическим фактом является то, что тепловые колебания не тревожат саму ткань моего осознания, я не ожидаю, что щелчок выключателя тоже её потревожит».

Так или иначе, вам не следует ожидать, что ваше чувство осознанности исчезнет, когда кто-то произнесет слово «Абракадабра», даже если это оказывает какое-то ничтожно малое физическое воздействие на ваш мозг —

Но погодите! Если вы слышите, как кто-то говорит слово «Абракадабра», это оказывает весьма заметное влияние на ваш мозг — настолько сильное, что его может заметить даже ваш собственный мозг. Это может изменить ваш внутренний нарратив; вы можете подумать: «Зачем этот человек только что сказал „Абракадабра“?»

Да, но всё же после этого вы рассчитываете продолжать говорить о сознании практически так же и практически по тем же самым причинам.

И опять же, дело не в том, что «сознание» приравнивается к «тому, что заставляет вас говорить о сознании». Просто сознание, помимо всего прочего, заставляет вас говорить о сознании. Так что всё, из-за чего ваше сознание гаснет, как лампочка, должно заставить вас перестать говорить о сознании.

Если мы сделаем с вами что-то такое, при чём вы не видите, как это вообще способно изменить ваш внутренний нарратив — этот голосок в вашей голове, который иногда произносит вещи вроде «Я мыслю, следовательно, существую», чьи слова вы можете по своему выбору произнести вслух, — то это не должно лишить вас сознания.

И это верно даже в том случае, если внутренний нарратив остается «почти таким же», и его причины тоже остаются почти такими же; и в числе причин, остающихся практически неизменными, находится и всё то, что вы подразумеваете под «сознанием».

Если вам интересно, к чему всё это ведёт и зачем нужно прилагать такие огромные усилия, чтобы размышлять над столь очевидным, казалось бы, Обобщенным антизомбийным принципом, то обратите внимание на следующие дебаты:

АЛЬБЕРТ: «Предположим, я заменил бы все нейроны в вашей голове крошечными роботизированными искусственными нейронами с