Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

жертву и отказаться от собственных идей при столкновении с противоречащими доказательствами; вести споры вежливо; стараться не обманывать себя; и прочие туманные словесные формулировки.

Традиционное рациональное воспитание пытается вырастить спорщиков, которые в конце концов уступят опровергающим доказательствам — должна существовать хоть какая-то гора улик, способная сдвинуть вас с места. Это не тривиально; именно это отличает науку от религии. Но здесь меньше внимания уделяется скорости, тому, чтобы выйти из боя как можно быстрее, эффективно усваивая новые свидетельства, чтобы требовался лишь минимум опровержений для разрушения вашего лелеемого убеждения.

Я воспитывался в духе Традиционной Рациональности и считал себя заправским рационалистом. Я перешел на байесовское мастерство (Лаплас / Джейнс / Тверски / Канеман) после событий... ну, это долгая история. Грубо говоря, я перешел потому, что понял: расплывчатых словесных штампов Традиционной Рациональности оказалось недостаточно, чтобы уберечь меня от совершения огромной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся на путь, который привел меня к этому Ужасному Осознанию. И увидел, что пошел на серию мелких, минимальных уступок, со скрипом отдавая каждый миллиметр территории, каждый раз осознавая лишь малейшую часть своей ошибки и признавая поражение лишь крошечными, терпимыми порциями. Я понял, что мог бы двигаться гораздо быстрее, если бы просто закричал «ОЙ!»

И я подумал: мне нужно выйти на новый уровень.

В признании того, что вы совершили большую ошибку, кроется огромное преимущество. Это больно. Но это также может изменить всю вашу жизнь.

Важно пережить переломный момент, момент смиренного осознания. Признать фундаментальную проблему, а не дробить ее на мелкие, легко перевариваемые ошибки.

Не увлекайтесь драмой и не начинайте гордиться признанием ошибок. Разумеется, гораздо лучше оказываться правым с первого раза. Но если уж вы совершили ошибку, то куда лучше увидеть ее целиком и сразу. Даже с гедонистической точки зрения выгоднее понести одну крупную потерю, чем множество мелких. Альтернатива — растягивать битву с самим собой на долгие годы. Альтернатива — это Enron.

С тех пор я не раз наблюдал, как другие люди идут по пути минимальных уступок, неохотно сдавая каждый миллиметр территории; никогда не признавая глобальную ошибку там, где можно обойтись локальной; всякий раз извлекая как можно меньше уроков из каждого промаха. То, что они могли бы добровольно исправить одним махом, они превращают в крошечные локальные заплатки, необходимость которых им приходится доказывать. Никогда они не скажут, признав очередной промах: «Я был глупцом». Они делают все возможное, чтобы сгладить неловкость, заявляя: «В принципе я был прав», или «Это могло сработать», или «Я все еще хочу сохранить истинную суть того, к чему привязан». Защищая свою гордость в текущий момент, они гарантируют себе, что снова совершат ту же ошибку и им снова придется защищать свою гордость.

Лучше проглотить всю горькую пилюлю целиком за один ужасный глоток.

*

122. Предложение стать фриком.

Когда я был совсем юным — кажется, лет тринадцати или четырнадцати, — мне показалось, что я нашел опровержение диагонального метода Кантора, знаменитой теоремы, доказывающей, что вещественных чисел больше, чем рациональных. Ах, какие мечты о славе и величии кружились тогда у меня в голове!

Моя идея заключалась в том, что поскольку каждое целое число можно разложить на набор степеней двойки, то можно отобразить целые числа на множество подмножеств целых чисел, просто выписав их двоичную запись. Например, число 13 (в двоичной записи — 1101) отображалось бы на {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, возможно, стоит применить диагональный метод Кантора к моей остроумной конструкции. И, конечно же, метод тут же выдал контрпример — двоичное число (... 1111), которое не соответствует ни одному конечному целому числу.

Обнаружив этот контрпример, я понял, что моя попытка опровержения оказалась несостоятельной, а вместе с ней рухнули и мои мечты о славе и величии.

Сначала я был немного разочарован.

В голове вертелась мысль: «В конце концов я одолею эту теорему! Когда-нибудь я опровергну диагональный метод Кантора, пусть даже первая попытка и провалилась!» Я злился на теорему за то, что она упрямо оставалась верной, лишая меня славы и богатства, и принялся искать другие опровержения.

И тут до меня кое-что дошло. Я осознал, что совершил ошибку, и теперь, когда я ее заметил, не было абсолютно никаких причин сомневаться в верности диагонального метода Кантора больше, чем в любой другой важнейшей математической теореме.

Я предельно ясно увидел, что передо мной открывается перспектива стать математическим фриком и провести остаток дней, рассылая профессорам математики гневные письма, написанные зелеными чернилами. (Когда-то я читал книгу о таких математических чудаках.)

Такого будущего себе я не желал, поэтому я тихонько усмехнулся и отпустил эту мысль. Я доброжелательно помахал диагональному методу Кантора рукой, пожелав ему счастливого пути, и больше никогда не подвергал его сомнению.

И сейчас я уже не помню, подумал ли я так тогда или же пришел к этому позже... но какое же это ужасно несправедливое испытание для тринадцатилетнего ребенка. Мне нужно было уже в этом возрасте быть настолько рациональным, иначе меня ждал провал.

Чем вы умнее, тем в более раннем возрасте у вас может впервые возникнуть идея, которая покажется вам действительно революционной. Мне повезло, что я сам заметил свою ошибку; что не потребовалось вмешательства другого математика, который указал бы мне на нее и тем самым, возможно, дал повод винить кого-то со стороны. Мне повезло, что опровержение моей идеи было достаточно простым, чтобы я сам смог в нем разобраться. Иначе, возможно, я бы со временем оправился. Будучи взрослым, я оправлялся и от куда более серьезных ударов. Но если бы я свернул не туда так рано, смог бы я вообще когда-нибудь развить в себе этот навык?

Интересно, скольким из тех, кто пишет гневные письма зелеными чернилами, было тринадцать, когда они сделали свой первый роковой шаг? Интересно, сколько среди них было до этого подающих надежды умов?

Я ошибся. Только и всего. Я не был по-настоящему прав в глубине души; я не одержал моральную победу; я не проявил ни амбициозности, ни скептицизма, ни какой-либо другой удивительной добродетели; это не было объяснимой ошибкой; я не был прав наполовину или хотя бы на самую малость. Мне пришла в голову мысль, которая никогда не пришла бы, будь я умнее, — вот и вся история.

Если бы я не смог признаться себе в этом, если