Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

я читал только в книгах — действительно случились с реальными людьми, переживавшими это примерно так же, как я переживал создание и крах своего собственного таинственного ответа. И ещё я понял: если бы я действительно пережил прошлое — если бы сам прошёл через научные революции былых времён, а не просто читал о них в книгах по истории, — я бы, вероятно, не совершил ту же ошибку снова. Я бы не стал выдумывать очередной таинственный ответ; первая тысяча уроков намертво вбила бы мне в голову эту мораль.

И тогда (подумал я), чтобы в достаточной мере ощутить силу истории, мне следует попытаться приблизиться к ходу мыслей Элиезера, который на самом деле прожил эту историю, — попытаться думать так, словно всё, о чём я читал в книгах по истории, произошло со мной на самом деле. (С соответствующей корректировкой весов из-за ошибки доступности книг по истории — мне нужно помнить себя тысячей крестьян на каждого правителя.) Мне нужно погрузиться в историю, представить, что проживаю эпохи, которые видел лишь в виде чернил на бумаге.

Почему я должен помнить первый полёт братьев Райт? Меня там не было. Но смею ли я, как рационалист, не помнить об этом, если это событие произошло на самом деле? Так ли велика разница между тем, чтобы видеть событие собственными глазами — что на самом деле представляет собой причинно-следственную цепочку с участием отражённых фотонов, а не прямую связь, — и тем, чтобы видеть событие со страниц книги по истории? И фотоны, и книги по истории тянутся по причинно-следственным цепочкам от самого события.

Мне нужно было преодолеть ложную амнезию, вызванную рождением в определённое время. Мне нужно было вспомнить — сделать доступными — все воспоминания, а не только те, которые по чистой случайности принадлежали лично мне и моей эпохе.

Земля вдруг стала старше.

Для моей прежней памяти Соединённые Штаты существовали всегда — никогда не было времени, когда Соединённых Штатов не существовало. До того момента я не помнил, как Римская империя поднялась, принесла мир и порядок и просуществовала столько веков, что я позабыл, будто когда-то всё было иначе; и тем не менее империя пала, варвары захватили мой город, а знания, которыми я владел, были утрачены. В моих глазах современный мир стал более хрупким; он не был первым современным миром.

Столько ошибок, совершённых снова, снова и снова, потому что я не помнил, как совершал их во все те эпохи, в которых я никогда не жил...

И подумать только, люди иногда сомневаются, важно ли преодолевать когнитивные искажения.

Разве вы не помните, сколько раз ваши искажения убивали вас? Не помните? Я заметил, что за смертельной ошибкой часто следует внезапная амнезия. Но уж поверьте мне на слово — это действительно происходило. Я помню; меня там не было.

Поэтому в следующий раз, когда вы усомнитесь в том, насколько странным окажется будущее, вспомните, как десять тысяч лет назад вы родились в племени охотников-собирателей, когда никто вообще не знал о Науке. Вспомните, как до глубины души вы были потрясены, когда Наука объяснила великие и ужасные священные тайны, которые вы когда-то так высоко почитали. Вспомните, как вы когда-то верили, что сможете летать, если съедите правильные грибы, а затем с разочарованием смирились с тем, что никогда не полетите, — а потом вы полетели. Вспомните, как вы всегда думали, что рабство — это правильно и естественно, а затем изменили своё мнение. Не воображайте, будто вы могли бы предсказать эти перемены, ибо это амнезия. Помните, что на самом деле вы ничего не предугадали. Вспомните, как век за веком мир менялся так, как вы не могли и предугадать.

Возможно, тогда вас меньше шокирует то, что случится дальше.

*

43. Объяснить/Поклоняться/Игнорировать?

Когда наше племя кочует по бескрайним равнинам в поисках плодовых деревьев и добычи, время от времени случается так, что с неба льется вода.

— Почему иногда с неба льется вода? — спрашиваю я бородатого мудреца нашего племени.

Он на мгновение задумывается — этот вопрос никогда прежде не приходил ему в голову, — а затем отвечает: — Время от времени небесные духи сражаются, и тогда их кровь капает с небес.

— А откуда берутся небесные духи? — спрашиваю я.

Его голос переходит на шепот: — Из прежних времен. Из далекого-далекого прошлого.

Когда идет дождь, а вы не знаете почему, у вас есть несколько вариантов. Во-первых, вы можете просто не спрашивать «почему» — не развивать эту тему или вообще никогда не задумываться над этим вопросом. Это команда «Игнорировать», которую бородатый мудрец выбрал изначально. Во-вторых, вы можете попытаться придумать какое-то объяснение — команда «Объяснить», как и поступил бородач в ответ на ваш первый вопрос. В-третьих, вы можете наслаждаться чувством таинственности — команда «Поклоняться».

Как вы наверняка заметили из этой истории, каждый раз, когда вы выбираете «Объяснить», в лучшем случае вы получаете объяснение вроде «небесных духов». Но затем само это объяснение сталкивается с той же дилеммой: Объяснить, Поклоняться или Игнорировать? Каждый раз, когда вы нажимаете «Объяснить», наука некоторое время скрипит шестеренками, выдает объяснение, а затем всплывает еще одно диалоговое окно. Как добропорядочные рационалисты, мы чувствуем себя обязанными продолжать нажимать «Объяснить», но это кажется дорогой без конца.

Вы нажимаете «Объяснить» для жизни — и получаете химию; вы нажимаете «Объяснить» для химии — и получаете атомы; вы нажимаете «Объяснить» для атомов — и получаете электроны и ядра; вы нажимаете «Объяснить» для ядер — и получаете квантовую хромодинамику и кварки; вы нажимаете «Объяснить» для того, откуда взялись кварки, — и возвращаетесь к Большому взрыву...

Мы можем нажать «Объяснить» для Большого взрыва и подождать, пока крутятся жернова науки, и, возможно, однажды она выдаст совершенно устраивающее нас объяснение. Но затем это просто вызовет очередное диалоговое окно. Так что, если мы продолжим достаточно долго, мы должны прийти к особому диалоговому окну, к новой опции — Объяснению, Которое Не Требует Объяснений, к точке, где цепь обрывается. И это, возможно, единственное объяснение, которое стоит знать.

Вот — я только что нажал «Поклоняться».

Никогда не забывайте, что существует гораздо больше способов поклоняться чему-либо, нежели зажигать свечи вокруг алтаря.

Если бы я сказал: «Хм, это действительно кажется парадоксальным. Интересно, как разрешается этот кажущийся парадокс?», то я бы нажал «Объяснить» — а получение этого ответа порой требует