Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

практически одно и то же ретроспективное воспоминание независимо от того, большой была порция или маленькой. Теперь у вас есть глубокая теория о правилах, управляющих вашей памятью, и вы знаете, что правила гласят именно это. (А еще вы знаете, что десерт нужно оставлять напоследок).

Я хочу услышать, как я могу преодолеть акразию — как мне укрепить силу воли или успевать больше с меньшим внутренним сопротивлением. Но есть десятки тысяч людей, претендующих на то, чтобы давать советы по этому поводу, и по большей части их советы находятся на уровне того гипотетического Сета Робертса, который просто рассказывает людям об удивительном эффекте от употребления фруктового сока. Или даже хуже: это попытки описать внутренние ментальные рычаги, за которые они потянули, для которых нет общепринятых слов и на которые они сами толком не знают, как указать. См. также иллюзию прозрачности, инференциальную дистанцию и двойную иллюзию прозрачности. (Заметьте, насколько более убедительным становится совет вроде «Вы переоцениваете то, насколько понятно объясняете, а ваши слушатели переоценивают то, насколько хорошо они вас слышат», когда я подкрепляю его экспериментом из когнитивистики и каплей эволюционной психологии?)

Думаю, совет, который мне нужен, должен исходить от человека, который прочитал массу литературы по экспериментальной психологии, посвященной силе воли, ментальным конфликтам, истощению эго, инверсии предпочтений, гиперболическому дисконтированию, распаду «я», пикоэкономике и так далее. И который в процессе преодоления собственной акразии сумел понять свои действия в по-настоящему общих терминах — благодаря экспериментам, дающим понятийный аппарат для когнитивных явлений, которые действительно существуют, в отличие от явлений, которые он сам только что выдумал. И более того — от человека, способного объяснить свои действия кому-то другому, опять же благодаря экспериментальному и теоретическому словарю, позволяющему сослаться на воспроизводимые эксперименты, которые подкрепляют эти идеи вполне конкретными результатами или математически ясных концепциях.

Обратите внимание на шкалу возрастающей сложности цитирования:

Конкретные экспериментальные результаты (для которых нужно лишь свериться со статьей — желательно той, где сообщается о p < 0,01, поскольку p < 0,05 может не воспроизвестись);

Причинно-следственные объяснения, которые действительно верны (которые надежнее всего получить, обратившись к теориям, используемым большинством в рамках конкретной науки);

Верно интерпретируемая математика (в отношении которой мне трудно дать полезный совет, поскольку большая часть моего собственного математического таланта — это интуиция, которая включается до того, как у меня появляется возможность поразмыслить).

Если вы не знаете, кому доверять, или не доверяете себе, для начала вам стоит сосредоточиться на экспериментальных результатах, затем перейти к мышлению в рамках причинно-следственных теорий, широко используемых в науке, и лишь с крайней осторожностью пробовать подступаться к математике и эпистемологии.

Но практические советы действительно, действительно становятся гораздо мощнее, когда они подкреплены конкретными экспериментальными результатами, причинно-следственными объяснениями, которые действительно верны, и верно интерпретируемой математикой.

*

332. Грех недостаточной уверенности.

Есть три великих греха, особенно свойственных рационалистам, и третий из них — это недостаточная уверенность. Майкл Вассар регулярно обвиняет меня в этом грехе, что делает его уникальным среди всего населения Земли.

Но на самом деле он совершенно прав, что беспокоится, и я тоже беспокоюсь, да и любой опытный рационалист, скорее всего, проводит немало времени в тревогах по этому поводу. Когда испытуемые знают о когнитивном искажении или предупреждены о нем, избыточная коррекция — нередко встречающийся результат экспериментов. Именно это делает многие когнитивные подзадачи столь сложными: вы знаете, что предвзяты, но не уверены, насколько, и не знаете, достаточно ли вы корректируете свое суждение. Возможно, стоит скорректировать его еще немного, а потом еще немного, но достаточно ли этого? Или, быть может, вы зашли слишком далеко? Не стало ли вам теперь хуже, чем если бы вы вообще не пытались ничего исправлять?

Вы размышляете об этом, чувствуя себя все более и более потерянным, и сама задача оценки начинает казаться все более и более бессмысленной...

И когда речь заходит о конкретных вопросах уверенности, излишней уверенности и недостаточной уверенности — понимаемых теперь в более широком смысле, а не просто как откалиброванные доверительные интервалы, — возникает естественная тенденция приравнивать излишнюю уверенность к греху гордыни из того, другого списка, который никогда не предостерегал против неправильного использования смирения или злоупотребления сомнениями. Ставить себя слишком высоко, претендовать на чужое место, слишком много о себе мнить, выставлять себя напоказ, принижать своих ближних неявным сравнением — и последствия в виде унижения и низвержения, возможно публичного, — разве все это не отвратительно и не страшно?

Быть чересчур скромным на этом фоне кажется меньшим злом; если вам публично укажут на это, это не будет столь унизительным. Действительно, узнать, что вы лучше, чем думали, может оказаться приятным сюрпризом; а принижение себя и неявное возвышение других несет в себе приятный оттенок «хорошести». Это как раз в духе Гэндальфа.

Так что если вы узнали о тысяче способов, которыми люди совершают ошибки, и прочитали о сотне результатов экспериментов, где анонимных испытуемых уличали в излишней уверенности (да черт возьми, даже если вы прочитали всего пару десятков), и при этом точно не знаете, насколько вы сами самонадеяны, — тогда да, вы действительно рискуете принизить себя еще на шаг сильнее, чем следовало бы.

У меня нет для вас идеальной формулы, которая помогла бы этому противостоять. Но я могу дать один-два совета.

В чем же опасность неуверенности в себе?

В упущенных возможностях. В отказе от дел, которые вы могли бы сделать, но не попытались (или приложили недостаточно усилий).

Итак, первый совет: если есть способ выяснить, насколько вы хороши, лучше всего это проверить. Гипотеза допускает проверку; гипотезы о ваших собственных способностях — точно так же. Когда-то давно мне казалось, что я должен быть способен победить в эксперименте «ИИ в коробке»; эта мысль казалась мне крайне сомнительной и высокомерной, поэтому я проверил её. Позже мне показалось, что я смогу победить, даже когда на кону будут стоять крупные суммы денег, и я проверил это, но победил лишь один раз из трех. Таков был предел моих возможностей на тот момент, и мне не нужно было спорить с самим собой в сторону завышения или занижения оценки, потому что я мог просто это проверить.

Один из главных путей, по которым умные люди оказываются глупыми, заключается в том, что они настолько привыкают побеждать, что остаются лишь там, где наверняка одержат верх — а значит, они никогда не развивают свои способности и никогда