Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="p">Если не брать в расчет весь вред, наносимый католической церковью, и смотреть только на добро... то делает ли среднестатистический католик больше суммарного добра, чем среднестатистический атеист, просто в силу своей большей активности?

Возможно, если вы мудрее, но менее мотивированы, вы можете искать высокоэффективные вмешательства и покупать утилоны по дешевке... Но среди нас мало тех, кто действительно так поступает, а не просто планирует заняться этим когда-нибудь потом.

В этот момент вы можете развести руками и сказать: «Пока у нас нет прямого контроля над мотивационными контурами нашего мозга, нереалистично ожидать от рационалиста такой же сильной мотивации, как от человека, который искренне верит, что будет вечно гореть в аду, если не подчинится».

И это справедливое замечание. Любая фольклорная теорема о том, что рациональный агент должен справляться как минимум не хуже нерационального, опирается на допущение, что рациональный агент всегда может просто применить любую «иррациональную» стратегию, которая приносит победу. Но если вы не можете просто выбрать для себя неограниченный запас ментальной энергии, то, возможно, некоторые ложные убеждения в сухой реальности действительно мотивируют сильнее, чем любые доступные истинные убеждения. И если мы все в целом страдаем от альтруистической акразии, будучи не в силах заставить себя помогать в той мере, в какой, по нашему мнению, следовало бы, то богобоязненные люди вполне могут победить в состязании по альтруистической отдаче.

И всё же, хотя это продолжение разговора и предвзято, давайте рассмотрим этот вопрос чуть подробнее.

Даже страх перед адом — не идеальный мотиватор. Эволюция не дает человеку слишком длинного поводка: мы можем сопротивляться мотивации короткое время, но затем у нас иссякает ментальная энергия (кивок в сторону infotropism). Даже вера в то, что вы попадете в ад, не меняет этого грубого факта об устройстве мозга. Поэтому верующие грешат, а затем терзаются мыслями об аде — точно так же, как курильщики корят себя за неспособность бросить курить.

Если бы группу рационалистов очень сильно заботило что-то... кто сказал, что они не смогли бы сравниться с реальными, фактическими результатами верующего католика? Ставки могут и не простираться до «бесконечного» блаженства или «вечного» проклятия, но мозг ведь всё равно не способен вообразить 3 ↑↑↑ 3, не говоря уже о бесконечности. Кто сказал, что реальное количество нейромедиаторов заботы, выделяемых мозгом (если можно так выразиться), при мысли о «росте и процветании человечества» или даже о «пострадавших от цунами тайцах» должно быть намного меньше, чем при мысли о «вечном блаженстве в раю»? Всё, что затрагивает более 100 человек, связано со значениями полезности, которые просто невозможно вообразить. И здесь также вступают в игру разного рода другие стандартные когнитивные искажения. Хочется верить, что знание о них тоже дает определенный бонус?

Когнитивно-поведенческая терапия и дзен-медитация — две ментальные дисциплины, экспериментально доказавшие свою способность приносить реальные улучшения. Это не та область искусства рациональности, на развитии которой я сосредоточился, но ведь за моей спиной и не стоит какое-то реально существующее боевое искусство рациональности. Если совместить цель, о которой действительно стоит заботиться, с дисциплиной, почерпнутой из КПТ и дзен-медитации, то кто сказал, что рационалисты не смогут держать темп? Или, выражаясь более обобщенно: если у нас есть основанное на доказательствах искусство борьбы с акразией и эксперименты, показывающие, что работает на самом деле, то кто сказал, что мы должны уступать в мотивации какому-то неорганизованному разуму, страшащемуся Божьего гнева?

И все же... это лишь рассуждения о далеком будущем, в котором, возможно, удастся разработать искусство, пока еще не существующее. Эту технику я не могу применить прямо сейчас. Я привожу ее лишь для того, чтобы проиллюстрировать идею о том, что не стоит так быстро списывать рациональность со счетов: понять, что идет не так, попытаться с умом это исправить и собрать свидетельства того, сработало ли это — вот мощный подход, от которого не следует легкомысленно отмахиваться при обнаружении первого же недостатка.

На самом деле, мне кажется, дело тут не столько в мотивирующей силе вечного проклятия, сколько в мотивирующей силе встреч вживую с другими людьми, разделяющими ваше дело. Иными словами, в силе физического присутствия в церкви и наличия верующих соседей.

Для сообщества рационалистов на его нынешнем этапе развития это проблема, поскольку нас мало и мы чертовски сильно рассеяны по всему свету. Если бы все читатели Less Wrong жили в радиусе пяти миль друг от друга, бьюсь об заклад, мы успевали бы делать гораздо больше — и не благодаря координации, а просто за счет чистой мотивации.

Позже я напишу о некоторых долгосрочных, мечтательных и идеалистических соображениях по поводу этой проблемы. Пока же предпочтительнее были бы более краткосрочные решения, не требующие от нас стократного увеличения численности. В частности, интересно, сможет ли лучшее современное программное обеспечение для видеоконференций дать хотя бы часть того мотивирующего эффекта, который дает встреча вживую; подозреваю, что ответ отрицательный, но попробовать, пожалуй, стоит.

Тем временем... в краткосрочной перспективе мы вынуждены бороться с акразией по большей части без подкрепляющего физического присутствия других неравнодушных людей. Мне хочется сказать что-то вроде: «Это трудно, но это возможно», — вот только я не уверен, что это действительно так.

Подозреваю, что самым большим шагом, который рационалисты могли бы предпринять, чтобы сравняться с Католической церковью по эффективности в пересчете на душу населения, было бы регулярное проведение личных встреч людей, работающих над общей задачей — исключительно ради мотивации.

В отсутствие этого...

Мы могли бы попытаться ввести групповую норму, согласно которой искренне и сильно переживать о чем-то открыто дозволено — нет, даже поощряется. И групповую норму ожидания того, что ты сделаешь со своей жизнью что-то полезное — внесешь свой вклад в наведение порядка в этом мире. Религия не делает столь же сильного упора на то, чтобы дела были действительно сделаны.

И если бы рационалисты смогли продемонстрировать хотя бы половину от среднего объема альтруистических усилий на одного католика, то, на мой взгляд, даже отдаленно не будет нереалистичным предположить, что при лучшей фокусировке на более эффективных целях типичный рационалист сможет сделать в два раза больше.

Какую долю своих доходов Католическая церковь тратит на всю эту бесполезную религиозную чепуху вместо реальной помощи людям? Я бы рискнул предположить, что более 50%. А значит, мы могли бы сказать — с некоторой иронией, хотя это и не совсем тот настрой, с которым следует подходить к делам, — что нам стоит попытаться распространить групповую норму жертвовать минимум 5% дохода на