Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

так, как это действительно должно быть сделано, является сложность проверки результатов программ обучения рациональности, необходимой для создания научно обоснованных методик обучения. Я напишу об этом подробнее, поскольку считаю, что умение распознавать успешное обучение и отличать его от неудачного — это ключевое, блокирующее препятствие.

Время от времени проводятся эксперименты по устранению конкретных когнитивных искажений, но обычно это выглядит так: «Дайте студентам потренироваться в этом в течение часа, а через две недели проверьте их». А не так: «Проведите половину записавшихся через версию А трехмесячной летней программы обучения, а половину — через версию Б, и опросите их через пять лет». Здесь виден предполагаемый объем усилий, который, по моему мнению, должен вкладываться в программу обучения для людей, настроенных Серьезно, в отличие от подхода в духе «сделаем пару ленивых выстрелов наугад, потратив от силы час времени или вроде того».

Дэниел Берфут блестяще предполагает, что именно поэтому интеллект кажется столь важным фактором в рациональности: когда вы импровизируете на ходу, почти не имея подготовки или систематической практики, интеллект в конечном итоге оказывается самым важным фактором в сухом остатке.

Почему «рационалисты» не окружены видимым ореолом могущества? Почему их нет на высших ступенях любой элиты, отбираемой по любому критерию, связанному с мышлением? Почему большинство «рационалистов» кажутся самыми обычными людьми, разве что с интеллектом чуть выше среднего, у которых просто появился еще один конек?

На это есть несколько ответов; но один из них, несомненно, заключается в том, что они получили меньше систематической подготовки по рациональности в менее систематическом контексте, чем обладатель черного пояса первого дана получает в искусстве бить людей.

Я не исключаю себя из этой критики. Я не бейсуцай, потому что есть пределы тому, как много Искусства можно создать в одиночку и насколько успешно можно угадывать без доказательной статистики результатов. Я знаю лишь одно применение рациональности, которое можно назвать «устранением путаницы в мыслях». Этого я просил от своего мозга, это он мне и дал. Думаю, существуют и другие искусства, обучением которым зрелая программа подготовки по рациональности не пренебрегла бы, и они сделали бы меня сильнее, счастливее и эффективнее — если бы я только мог пройти стандартизированную программу обучения, использующую лучшие из экспериментально доказавших свою эффективность методик. Но для того колоссального, сосредоточенного усилия, которое я приложил, чтобы с нуля создать свое единственное подискусство рациональности, в моей жизни просто нет места для более чем одного такого дела.

Я считаю себя в чём-то большим, а в чём-то меньшим, чем обладатель черного пояса первого дана. Я могу пробивать кирпич и сейчас работаю над сталью на своем пути к адамантию, но мои представления о том, как бить ногами, бросать или блокировать, — на уровне обычного уличного бойца.

Почему существуют школы боевых искусств, но нет додзё рациональности? (Это был первый вопрос, который я задал в своем самом первом посте в блоге.) Неужели бить людей важнее, чем думать?

Нет, но гораздо легче проверить, когда ты действительно попал по кому-то. В этом часть ответа, и притом ключевая.

Но, возможно, ещё важнее другое: в мире есть люди, которые хотят бить и верят, что должно существовать систематическое искусство удара, которое сделает их заметно более грозными бойцами, обладающими скоростью, грацией и силой, недосягаемыми для неуклюжих попыток нетренированных людей. Поэтому они идут в школу, которая обещает этому научить. И эта школа существует потому, что когда-то очень давно у кого-то возникло предчувствие, что возможно нечто большее. Они собирались вместе, делились приемами, тренировались, формализовали, снова тренировались и разработали Систематическое Искусство Удара. Они зашли так далеко, потому что считали, что должны быть крутыми, и были готовы выложиться ради этого по полной.

И со своим стремлением они чего-то добились — в отличие от тысячи других провалившихся стремлений к крутизне — потому что они могли понять, когда попали по кому-то, а школы регулярно соперничали друг с другом в реалистичных состязаниях с четко определенными победителями.

Но ещё до этого было само стремление, желание стать сильнее, ощущение того, что возможно нечто большее. Видение скорости, грации и силы, которыми они ещё не обладали, но могли обладать, если бы были готовы много трудиться — именно оно побуждало их систематизировать знания, тренироваться и проводить испытания.

Почему же у нас нет Искусства Рациональности?

В-третьих, потому что современным «рационалистам» трудно работать в группах — об этом я ещё скажу подробнее.

В-вторых, потому что трудно проверить успехи в обучении или определить, какая из двух школ сильнее.

Но во-первых, потому что людям не хватает ощущения того, что рациональность — это нечто такое, что следует систематизировать, тренировать и проверять, как боевое искусство; что за ней должно стоять столько же знаний, сколько за ядерной инженерией; что её суперзвёзды должны тренироваться так же упорно, как шахматные гроссмейстеры, а её успешных практиков должна окружать очевидная аура крутизны.

И наоборот, они не смотрят на отсутствие заметного превосходства и не говорят: «Должно быть, мы делаем что-то не так».

«Рациональность» просто кажется еще одним увлечением или коньком, о котором судачат на вечеринках, — своего рода нарядом для разговоров, почти или совсем не влияющим на реальную жизнь; и кажется, будто в этом тоже нет ничего плохого.

*

314. Эпистемическая порочность.

Перед кем-то за это стоит снять шляпу, но я никак не могу вспомнить, перед кем именно; в моих архивах нет ни писем, ни комментариев на Overcoming Bias, из которых я мог бы узнать об этом 12-страничном эссе «Эпистемическая порочность в боевых искусствах» Джиллиан Рассел.1 Может быть, Анне Саламон?

Мы все выстроились в ряд в галстуках и практичной обуви (дело было в Англии) и повторяли за ним — левой, правой, левой, правой, — а после он сказал нам, что если мы будем отрабатывать удары в воздухе с достаточным рвением в течение трех лет, то сможем убивать быка с одного удара.

Я боготворила мистера Говарда (хотя скорее умерла бы, чем призналась ему в этом) и потому, будучи худенькой одиннадцатилетней девочкой, искренне поверила, что если буду тренироваться, то к четырнадцати годам смогу убивать быка с одного удара.

Это эссе посвящено эпистемической порочности в боевых искусствах, и приведенная история иллюстрирует именно это явление. Хотя английское слово «viciousness» обычно ассоциируется с намеренной жестокостью и злобой, здесь я буду использовать его в более старомодном значении — как подверженность порокам (vices).

Все