Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если у Врага самый обычный характер и он действует исходя из убеждений о своей ситуации, при которых насилие было бы типичной человеческой реакцией, это вовсе не означает, что его убеждения соответствуют действительности. Это не значит, что они оправданы. Это значит, что вам придется застрелить того, кто считает себя героем собственной истории, — и в его романе главный герой погибнет на восьмидесятой странице. Это трагедия, но она лучше альтернативной трагедии. Это выбор, который каждый день делает любой полицейский, чтобы наши аккуратные маленькие мирки не растворились в хаосе.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что у него на самом деле на уме, — это знание не будет ощущаться как смачный удар по противоположной стороне. Оно не подарит вам теплого чувства праведного гнева. Оно не принесет вам довольства собой. Если от вашей оценки вам становится невыносимо грустно, возможно, вы видите мир таким, какой он есть на самом деле. Изредка точная оценка может заставить пробежать по вашей спине дрожь неподдельного ужаса — как при столкновении с настоящими психопатами или неврологически здоровыми людьми, чьи убеждения полностью разрушили их рассудок (саентологами или воспитанниками «Лагеря Иисуса»).

Так давайте скажем прямо: угонщики 11 сентября не были злыми мутантами. Они не ненавидели свободу. Они тоже были героями собственных историй и умерли за то, что считали правильным, — за истину, справедливость и исламский путь. То, что угонщики видели себя такими, не означает, что их убеждения были истинными. То, что угонщики видели себя такими, не означает, что мы должны признать их действия оправданными. То, что угонщики видели себя такими, не означает, что пассажиры рейса 93 United должны были отойти в сторону и позволить этому случиться. Но это означает, что в другом мире, если бы они выросли в другой среде, эти угонщики могли бы стать полицейскими. И это действительно трагедия. Добро пожаловать на Землю.

*

62. Обратная глупость — это не интеллект. «...тогда наши люди в той временной линии принялись за исправление ситуации. Вот здесь».

Он очистил экран и принялся набирать комбинации. Страница за страницей сменяли друг друга — свидетельства людей, утверждавших, будто они видели таинственные диски, и каждый следующий рассказ был фантастичнее предыдущего.

— Стандартный метод заглушения, — ухмыльнулся Веркан Валл. — Я слышал лишь немного разговоров о «летающих тарелках», да и то в шутку. В культуре подобного типа всегда можно дискредитировать одну правдивую историю, запустив параллельно десяток других, очевидно вымышленных.

— Г. Бим Пайпер, «Полицейская операция»1

Пайпер в чём-то прав. Лично я не верю, что наши края наводнили плохо скрывающиеся пришельцы. Но моё неверие никак не связано с ужасающей, постыдной иррациональностью культов летающих тарелок — по крайней мере, я на это надеюсь.

Мы с вами верим, что культы летающих тарелок возникли при полном отсутствии каких-либо летающих тарелок. Культы могут возникать вокруг практически любой идеи благодаря человеческой глупости. Эта глупость действует ортогонально вмешательству пришельцев: мы ожидали бы увидеть культы летающих тарелок независимо от того, существуют ли летающие тарелки на самом деле. Даже если бы плохо скрывающиеся пришельцы существовали, вероятность возникновения культов летающих тарелок не стала бы ни на йоту меньше. Условная вероятность P(культы|пришельцы) не меньше, чем P(культы|¬пришельцы), если только вы не предположите, что плохо скрывающиеся пришельцы целенаправленно подавляют подобные культы. Согласно байесовскому определению свидетельства, наблюдение «культы летающих тарелок существуют» не является свидетельством против существования летающих тарелок. Это вообще не слишком веское свидетельство в пользу какой-либо из сторон.

Это применение общего принципа, который Роберт Пирсиг сформулировал так: «Величайший глупец в мире может сказать, что светит солнце, но от этого на улице не станет темно».2

Если бы вы знали кого-то, кто ошибается в 99,99% случаев при ответах на вопросы «да/нет», вы могли бы достичь точности в 99,99%, просто меняя их ответы на противоположные. Этому человеку пришлось бы проделать колоссальную работу по сбору качественных свидетельств, сцепленных с реальностью, и их непротиворечивой обработке, просто чтобы обеспечить настолько надежную антикорреляцию. Нужно быть сверхинтеллектуалом, чтобы быть настолько глупым.

Машина со сломанным двигателем не поедет назад со скоростью 200 миль в час, даже если двигатель сломан ну очень, очень сильно.

Если глупость не гарантирует надежной антикорреляции с истиной, то с какой стати человеческое зло должно с ней антикоррелировать? Обратная сторона эффекта ореола — эффект рогов: все воспринимаемые негативные качества коррелируют между собой. Если Сталин — злодей, то всё, что он говорит, должно быть ложью. Вы ведь не захотите соглашаться со Сталиным, правда?

Сталин также верил, что 2 + 2 = 4. И всё же, если вы попытаетесь защитить любое утверждение Сталина, даже «2 + 2 = 4», люди увидят лишь то, что вы «соглашаетесь со Сталиным» — а значит, вы, должно быть, на его стороне.

Следствия из этого принципа:

Чтобы честно спорить с идеей, вы должны спорить с лучшими аргументами ее сильнейших сторонников. Спор со слабыми сторонниками не доказывает ровным счетом ничего, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите поспорить с трансгуманизмом или интеллектуальным взрывом, вам придется напрямую оспорить аргументы Ника Бострома или Элиезера Юдковского после 2003 года. Наименее удобный путь — единственный верный.

Выставление напоказ печальных, жалких безумцев, сошедших с ума от своего понимания Идеи, не служит свидетельством против самой Идеи. Множество приверженцев Нью-Эйдж лишь сильнее повредились в уме от своего личного понимания квантовой механики.

Кто-то однажды сказал: «Не все консерваторы глупы, но большинство глупых людей — консерваторы». Если вы не можете привести себя в состояние ума, в котором это утверждение — истинно оно или ложно — кажется совершенно не относящимся к делу в качестве критики консерватизма, вы еще не готовы рационально рассуждать о политике.

Аргумент ad hominem несостоятелен.

Вы должны быть способны аргументировать против геноцида без упоминания того, что «Гитлер хотел истребить евреев». Если бы Гитлер не выступал за геноцид, стал бы он от этого приемлемым?

В терминах Хансона: ваша инстинктивная готовность поверить во что-то меняется вместе с вашим желанием ассоциироваться с людьми, известными своей верой в это, — безотносительно того, насколько само это убеждение истинно. Некоторые люди могут не желать верить в отсутствие Бога не потому, что