Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

мне удалось бы её опровергнуть, я оставался бы честен с собой относительно предсказаний моей теории, принял бы опровержение, когда оно будет получено, и так далее. Этого достаточно, чтобы храповик науки продвинулся на один щелчок вперед, но это довольно жестоко по отношению к людям, которые тратят впустую тридцать лет своей жизни. Традиционная Рациональность — это прогулка, а не танец. Она создана для того, чтобы в конце концов привести вас к истине, и оставляет вам слишком много времени на то, чтобы любоваться цветами по дороге.

Традиционные рационалисты могут согласиться остаться при своих мнениях. В Традиционной Рациональности нет идеала, согласно которому мышление — это точное искусство, где при имеющихся свидетельствах существует лишь одна верная оценка вероятности. В Традиционной Рациональности вам позволено строить догадки, а затем проверять их. Но опыт научил меня: если вы не знаете и строите догадки, в конечном итоге вы окажетесь неправы.

Путь Байеса — это тоже неточное искусство, по крайней мере в том виде, в каком я о нем разглагольствую. Эти эссе — все еще лишь неуклюжие попытки выразить словами уроки, которые лучше усваивать на собственном опыте. Но здесь по крайней мере есть лежащая в основе математика, а также экспериментальные данные когнитивной психологии о том, как люди мыслят на самом деле. Возможно, этого хватит, чтобы преодолеть заоблачно высокий порог, необходимый для дисциплины, которая позволяет вам действительно находить верные ответы, а не просто загоняет вас в рамки новых интересных ошибок.

*

41. Неспособность учиться у истории.

Когда-то давно, во времена моей бурной и безрассудной юности, когда я ещё не ведал Пути Байеса, я дал Таинственный Ответ на вопрос, казавшийся таинственным. За этим последовала целая череда неудач, но одна ошибка выделяется как самая критическая: в юности я не понимал, что разгадка тайны должна делать её менее запутанной. Я пытался объяснить Таинственное Явление — что для меня означало найти его причину, вписать его в целостную модель реальности. Но с чего бы этому делать само явление менее Таинственным, если такова его природа? Я пытался объяснить Таинственное Явление, а не превратить его (какой-то невозможной алхимией) в явление обыденное — в явление, которое изначально даже не требовало бы необычного объяснения.

Будучи Традиционным Рационалистом, я знал истории об астрологах и астрономии, алхимиках и химии, виталистах и биологии. Но Таинственное Явление было не таким. Это было нечто новое, нечто более странное, более сложное, нечто такое, что обычная наука не могла объяснить веками —

— как будто звёзды, материя и жизнь не оставались тайнами сотни и тысячи лет, от самой зари человеческой мысли и до тех пор, пока наука наконец их не разгадала —

Мы изучаем астрономию, химию и биологию в школе, и нам кажется, что эти темы всегда относились к области науки, что они никогда не были таинственными. Когда наука осмеливается бросить вызов новой Великой Загадке, дети этого поколения настроены скептически, ведь они никогда не видели, чтобы наука объясняла то, что кажется им таинственным. Наука ведь годится только для объяснения научных тем — вроде звёзд, материи и жизни.

Мне казалось, что урок истории состоял в том, что у астрологов, алхимиков и виталистов был врождённый изъян характера — склонность к мистерианизму, которая заставляла их придумывать таинственные объяснения для явлений, в которых не было никакой тайны. Но ведь если явление действительно было очень странным, то и странное объяснение могло быть вполне уместно?

И лишь позже, когда я начал различать прозаическое устройство внутри этой тайны, я понял, в чьей шкуре оказался. Только тогда я осознал, насколько разумным казался витализм в своё время, и насколько неожиданным и неловким был ответ Вселенной: «Жизнь обыденна и не требует странных объяснений».

Мы читаем историю, но мы в ней не живём, мы её не проживаем. Если бы только я лично постулировал астрологические тайны, а затем открыл ньютоновскую механику; постулировал алхимические тайны, а затем открыл химию; постулировал виталистические тайны, а затем открыл биологию... Тогда, вспомнив свой Таинственный Ответ, я бы сказал себе: Я больше ни за что на это не куплюсь.

*

42. Делая историю доступной.

Существует привычка мышления, которую я называю логической ошибкой обобщения на основе вымышленных свидетельств. Журналисты, которые, например, упоминают фильмы о Терминаторе в репортажах об ИИ, обычно не относятся к «Терминатору» как к пророчеству или непреложной истине. Однако этот фильм вспоминается — становится доступным — так, словно это показательный исторический пример. Как будто журналист лично наблюдал происходящее на какой-то другой планете, а значит, подобное вполне может случиться и здесь. Подробнее об этом в эссе «Логическая ошибка обобщения на основе вымышленных свидетельств».

Существует и обратная ошибка обобщения на основе вымышленных свидетельств: неспособность в достаточной мере проникнуться историческими свидетельствами. Проблема с обобщением по вымышленным свидетельствам в том, что это вымысел — этого никогда не происходило в действительности. Он взят не из того же распределения, что и наша реальная вселенная; вымысел систематически отличается от реальности. Но история-то действительно произошла, и она должна быть доступной.

В среде наших предков не было кино; то, что ты видел собственными глазами, было правдой. Стоит ли удивляться, что вымысел, который мы наблюдаем на реалистичных движущихся картинках, оказывает на нас слишком сильное влияние? И наоборот, с вещами, которые произошли на самом деле, мы сталкиваемся в виде чернил на бумаге; они случились, но мы никогда не видели, как это происходило. Мы не помним, чтобы это случалось с нами.

Обратная ошибка — относиться к истории как к простому рассказу, обрабатывать её той же частью разума, которая отвечает за чтение романов. На словах вы можете называть её «правдой», а не «вымыслом», но это не значит, что она трогает вас так сильно, как следовало бы. Многие когнитивные искажения связаны с тем, что нас недостаточно трогает сухая, абстрактная информация.

Когда-то давно я дал Таинственный Ответ на таинственный вопрос, не понимая, что совершаю точно такую же ошибку, как астрологи, изобретающие мистические объяснения для звёзд, или алхимики, придумывающие магические свойства материи, или виталисты, постулирующие непостижимый «élan vital», чтобы объяснить всю биологию.

Когда я наконец понял, на чьём месте оказался, меня внезапно пронзило чувство неожиданной связи с прошлым. Я осознал, что создание и крах витализма — о которых