Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

не делать публичными (хотя это, конечно, серьёзный недостаток этого метода). Глупые идеи могут натолкнуть на хорошие, так что если не можете придумать хорошую идею, придумайте глупую.

Репутационный, экспериментальный, организационный:

Что-то, что мастера и школы могут делать, чтобы не терять связь с реальностью (реальной реальностью);

Что-то, что вы можете сделать для оценки каждого из ста учеников;

Что-то, что можно использовать в качестве теста, даже если у людей есть стимул обойти его.

Поиск хороших решений на каждом уровне определяет, чем может быть полезна вся область исследований — на какие результаты она может рассчитывать. Это один из Больших Важных Фундаментальных Вопросов, поэтому —

Думайте!

(P. S. И поразмышляйте самостоятельно, прежде чем знакомиться с чужими идеями; нам нужна широта охвата.)

*

317. Почему люди нашего склада не могут кооперироваться.

Из тех времён, когда меня ещё заставляли туда ходить, я помню ежегодный сбор пожертвований в нашей синагоге. Если я правильно помню, формат был довольно простым. Раввин и казначей говорили о расходах синагоги и о том, как важен этот ежегодный сбор, а затем прихожане прямо со своих мест выкрикивали суммы, которые они обещали пожертвовать.

Просто и понятно, правда?

Позвольте рассказать вам о другом ежегодном сборе пожертвований. О том, который проводил я сам в первые годы существования Научно-исследовательского института машинного интеллекта (MIRI). Одно отличие состояло в том, что кампания проходила в интернете. Другое же отличие заключалось в том, что аудитория в основном состояла из атеистов / либертарианцев / технофилов / любителей научной фантастики / ранних последователей / программистов и т. д. (Чтобы примерно очертить эмпирический кластер в пространстве личностей. Если вы поняли фразу «эмпирический кластер в пространстве личностей», вы понимаете, о ком я говорю.)

Я тщательно проработал этот призыв к пожертвованиям. По своей природе я слишком горд, чтобы просить других людей о помощи, но за годы мне удалось преодолеть это нежелание примерно на 60%. Некоммерческая организация нуждалась в деньгах и росла слишком медленно, поэтому в ежегодный призыв того года я вложил немало силы и поэзии. Я разослал его по нескольким спискам рассылки, охватывающим большую часть нашей потенциальной базы поддержки.

И почти сразу же в рассылках начали появляться сообщения о том, почему люди не собираются жертвовать. Некоторые поднимали фундаментальные вопросы о философии и миссии некоммерческой организации. Другие делились своими блестящими идеями обо всех других источниках, из которых организация могла бы получить финансирование вместо них. (Они не вызывались связаться с кем-либо из этих источников сами, у них просто были идеи, как это можем сделать мы.)

Теперь вы можете сказать: «Ну, возможно, в вашей миссии и философии действительно крылись фундаментальные проблемы — вы же не хотели бы цензурировать эту дискуссию?»

Запомните эту мысль.

Потому что люди всё-таки жертвовали. Мы сразу начали получать пожертвования через PayPal. Нам даже приходили поздравительные записки о том, что этот призыв наконец-то побудил их сдвинуться с места. К пожертвованию в размере $111,11 прилагалось сообщение: «Я решил дать чуть больше. Ещё одну сотню, ещё одну десятку, ещё один доллар, ещё один дайм и ещё один цент. Пусть не все за одного, но этот один пытается быть за всех».

Но ни один из этих жертвователей не написал в список рассылки, чтобы выразить согласие. Ни один.

Насколько знал каждый из этих жертвователей, он был один. И когда на следующий день они открывали рассылку, то находили там не благодарность, а аргументы в пользу того, почему им не следовало жертвовать. Критика, оправдания нежелания жертвовать — только они красовались у всех на виду.

Как будто казначей закончил свой ежегодный призыв, и все, кто не собирался вносить деньги, гордо поднялись, чтобы во всеуслышание объявить причины своего отказа, в то время как те, кто сделал взнос, шептали об этом тихонько, чтобы никто не услышал.

Я знаю одного сторонника рационализма, который ходит и жалобно спрашивает: «Как так получается, что раэлитский культ летающих тарелок умудряется заинтересовать полной чушью десятки тысяч адептов [вероятно, около 40 000], а мы не можем привлечь хотя бы тысячу человек к работе над этой задачей?»

Очевидно ошибочный способ продолжить эту мысль — сказать: «Давайте делать то же, что раэлиты! Давайте добавим к этому мему немного чуши!» Для блага тех, кого не останавливают на месте этические барьеры, замечу, что на один получивший известность культ летающих тарелок может приходиться сотня провалившихся. К тому же Тёмная сторона может требовать неочевидных навыков, которых у вас, да, именно у вас, нет: не каждый может быть владыкой ситхов. В частности, если вы обсуждаете свои планы соврать в открытом интернете, вы проиграли. Я не великий преступник, но даже я могу сказать, что некоторые люди просто не созданы быть жуликами.

Так что, пожалуй, не лучшая идея — взращивать в себе чувство несправедливой обделённости при мысли, что у какой-то другой группы, которая, по вашему мнению, уступает вам, больше денег и сторонников. Этот путь ведёт — простите за выражение — на Тёмную сторону.

Но нам, пожалуй, всё-таки стоит задать себе несколько острых вопросов, если так называемые «рационалисты» не способны координировать свои действия хотя бы так же успешно, как культ летающих тарелок.

Как всё устроено на Тёмной стороне?

Говорит уважаемый лидер, и раздаётся хор абсолютного согласия: если кто-то и таит в душе сомнения, он держит их при себе. В результате каждый отдельный слушатель видит эту атмосферу полного единодушия и чувствует себя увереннее в предложенных идеях — ведь даже если лично у него и были сомнения, все остальные, похоже, со всем согласны.

(«Плюралистическое невежество» — общепринятое название для этого.)

Если кого-то и после этого не удалось убедить, они покидают группу (или, в некоторых краях, их казнят) — и среди оставшихся единодушие лишь возрастает и сильнее подкрепляют веру друг друга, встречая всё меньше помех.

(Я называю это «испарительным охлаждением групп».)

Сами идеи, а не только лидер, вызывают безграничный восторг и восхваление. Эффект ореола заключается в том, что оценки всех положительных качеств коррелируют между собой — например, когда испытуемым рассказывали о пользе какого-то пищевого консерванта, они оценивали его как менее рискованный, хотя логически эти характеристики не были связаны. Это может создать эффект положительной обратной связи, из-за которого идея кажется всё лучше, лучше и лучше — особенно если любая критика воспринимается как предательство или грех.

(Что я называю «аффективной спиралью