Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

свидетельства, и до того, как осознал всю пагубность вопросов «Позволено ли мне верить?» для симпатичных мне позиций и «Обязан ли я верить?» для несимпатичных. Я был всего лишь Традиционным Рационалистом, который представлял научный процесс как третейского судью в споре сторонников разных точек зрения — пусть победит сильнейший.

Моим главным изъяном была вовсе не любовь к «разуму» и не приверженность технофилии и научной фантастике, воспевающим братство разумных существ. И уж точно им не была моя способность подмечать чужие ошибки. Ничто из этого не могло бы сбить меня с пути, если бы я с самого начала придерживался более высоких стандартов строгости и не принимал никакой позиции, им не соответствующей. Или если бы я хотя бы исследовал свою любимую расплывчатую позицию с теми же требованиями строгости, которые предъявлял к контраргументам.

Но меня мало интересовали попытки опровергнуть собственную веру в то, что жизнь имеет смысл, поскольку в моих рассуждениях всегда доминировали примеры, где жизнь этот смысл действительно имела.

А поскольку на кону стоял взрыв интеллекта, я считал, что должен просто двигаться вперед на полной скорости, используя лучшие концепты, какими располагал на тот момент, а не останавливаться и замораживать всю работу в поисках идеального определения, с которым уже облажалось столько других...

Нет.

Нет, вы не используете лучшие концепты из тех, что доступны вам на данный момент.

Вас судит Природа, а Природа не принимает даже самых благородных оправданий. Если вы не соответствуете стандарту, вы проигрываете. Всё очень просто. Не существует изящного довода в пользу того, почему вам приходится обходиться тем, что есть, — ведь Природа не станет слушать этот довод и не простит вас только потому, что у вас было множество отличных оправданий для спешки.

Все мы знаем, что случилось с Дональдом Рамсфелдом, когда он отправился на войну с той армией, которая у него была, а не с той, которая была ему нужна.

Возможно, Элиезер-1997 не мог сотворить правильную модель из ниоткуда. (Хотя кто знает, что произошло бы, если бы он действительно попытался...) И с его стороны было бы неразумно полностью прекратить думать в ожидании, пока строгость вдруг сама собой материализуется из воздуха.

Но со стороны Элиезера-1997 также было ошибкой опираться всем весом на свою «наилучшую догадку» в условиях отсутствия точности. Вы можете использовать расплывчатые концепты в качестве промежуточных мыслительных процессов, пока ищете лучший ответ, будучи недовольными своими текущими смутными намеками и не желая опираться на них всем весом. Но вы не строите сверхразум на базе промежуточного понимания. Нет, даже на базе самого «лучшего» из имеющихся у вас расплывчатых представлений. В этом и заключалась моя ошибка — я думал, что фраза «наилучшая догадка» хоть как-то меня оправдывает. Существовал лишь стандарт, которому я не соответствовал.

Конечно, Элиезер-1997 не хотел замедляться на пути к взрыву интеллекта, ведь на кону стояло столько жизней, да и само выживание земного разума как такового, если бы мы перешагнули в эпоху нанооружия до наступления эпохи сверхразума...

Природе плевать на эти благородные причины. Существует лишь астрономически высокий стандарт, необходимый для успеха. Либо вы ему соответствуете, либо проигрываете. Вот и всё.

Апокалипсис не обязан быть к вам справедливым.

Апокалипсис не обязан давать вам шанс на успех

В обмен на то, с чем вы уже пришли.

Сложность апокалипсиса не соразмерна вашим навыкам.

Цена апокалипсиса не соразмерна вашим ресурсам.

Если апокалипсис требует от вас чего-то неразумного

И вы пытаетесь немного сторговаться

(Потому что каждому из нас время от времени приходится идти на компромиссы)

Апокалипсис не станет торговаться в ответ.

И, о да, дальше будет только хуже.

Как же Элиезер-1997 справлялся с очевидным аргументом о том, что невозможно вывести «должно» из чистой логики, поскольку суждения о должном могут быть выведены только из других суждений о должном?

Что ж (замечал Элиезер-1997), эта проблема имеет ту же структуру, что и аргумент о том, что причина может исходить только от другой причины, или что реальная вещь может произойти только от другой реальной вещи, с помощью чего можно доказать, что вообще ничего не существует.

Таким образом (утверждал он), существуют три «трудные проблемы»: трудная проблема сознания, из которой мы видим, что квалиа не могут возникать из вычислимых процессов; трудная проблема существования, в которой мы задаемся вопросом, как вообще нечто существующее возникает, казалось бы, из ничего; и трудная проблема морали, которая заключается в том, чтобы прийти к «должно».

Эти проблемы, вероятно, связаны между собой. Например, квалиа удовольствия — один из лучших кандидатов на роль чего-то желанного самого по себе. Возможно, мы не сможем понять трудную проблему морали, не разгадав сначала трудную проблему сознания. Очевидно, что эти проблемы слишком сложны для людей — иначе за последние 2500 лет, прошедших с момента изобретения философии, кто-нибудь их уже решил бы.

Не то чтобы у них могли быть сложные решения — для этого они слишком просты. Проблема просто должна лежать за пределами человеческого понятийного пространства. Раз мы видим, что сознание не может возникнуть в результате какого-либо вычислимого процесса, значит, здесь должна быть задействована новая физика — физика, которую наш мозг использует, но не способен понять. Вот почему для решения этой проблемы нам необходим сверхразум. Вероятно, это связано с квантовой механикой, возможно, с добавлением крошечных замкнутых времениподобных кривых из общей теории относительности; временные парадоксы могут обладать теми же свойствами несводимости, которых, судя по всему, требует сознание...

И так далее, до тошноты. В цикле моих постов на Overcoming Bias вы уже, возможно, начинаете улавливать контуры письма, которое мне хотелось бы написать самому себе в прошлое.

Из этого я извлек следующий урок: вы не можете манипулировать замешательством. Вы не можете строить хитрые планы в обход пробелов в своем понимании. Вы даже не можете строить «наилучшие догадки» о вещах, которые в корне ставят вас в тупик, и связывать их с другими столь же непонятными вещами. Точнее, вы можете, но не попадете в цель, пока ваше замешательство не рассеется. Замешательство существует в разуме, а не в реальности, и попытки обращаться с ним как с чем-то, что можно взять и переставить, приведут лишь к непреднамеренной комедии.

Точно так же вы не можете придумывать хитроумные объяснения тому, почему пробелы в вашей модели не имеют значения. Вы не можете очертить границу вокруг тайны, приделать к ней удобные ручки, чтобы пользоваться этой Таинственной Вещью, толком её не понимая, — как в моей