Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И если я буду снимать баллы с репутации Бена за то, что он находит добрые слова для людей и проектов, которые я нахожу безнадёжными — даже о М*нт*ф*ксе, — то тем самым я требую, чтобы Бен недолюбливал всех, кого недолюбливаю я, прежде чем я смогу с ним работать.

Разве это реалистичный стандарт? Особенно с учётом того, что разных людей в разной степени раздражают разные вещи?

Но об этом трудно помнить, когда Бен столь дружелюбен к такому количеству идиотов.

Сотрудничество — и в теории игр, и в эволюционной биологии — нестабильно без какого-то наказания за предательство. Так что одно дело — снимать баллы с чьей-то репутации за ошибки, которые человек совершает непосредственно сам. Но если вы к тому же косо смотрите на кого-то за то, что он отказывается бичевать человека или идею, то это уже наказание ненаказывающих — гораздо более опасная модель поведения, способная зафиксировать равновесие, даже если оно вредно для всех участников.

Об опасности наказания ненаказывающих я напоминаю себе, например, всякий раз, когда Робин Хансон указывает на изъян в каком-нибудь академическом клише и при этом скромно признаётся, что может ошибаться (и ведь он прав). Или всякий раз, когда я вижу, как Майкл Вассар всё ещё оценивает потенциал человека, которого я счёл безнадёжным спустя тридцать секунд после знакомства. Мне приходится напоминать себе: «Терпи терпимость! Не требуй от союзников столь же радикальных негативных суждений обо всём, что тебе не нравится!»

По своей природе я действительно раздражаюсь, когда мне кажется, что кто-то другой оценивает кого-то слишком высоко. Не знаю, все ли люди таковы, но подозреваю, что по крайней мере некоторые из моих собратьев по стремлению к рациональности разделяют эту черту. Я бы не удивился, окажись это общечеловеческим свойством; у него есть очевидная эволюционная логика — и она делает это свойство крайне неприятной и опасной адаптацией.

В целом я не поклонник «терпимости». И уж точно я не верю в концепт «нетерпимости к нетерпимости», которого некоторые непоследовательно придерживаются. Но я буду продолжать стараться терпеть людей, которые более терпимы, чем я, и судить их только по их собственным, незаимствованным ошибкам.

Да, и разумеется, если люди из Группы X требовательно смотрят на вас, ожидая, что вы будете ненавидеть правильных врагов с правильной силой, и готовые бичевать вас самих, если вы не будете бичевать достаточно громко, то, возможно, вы связались не с той компанией.

Только не требуйте, чтобы каждый, с кем вы работаете, был столь же нетерпим к подобному поведению. Простите своих друзей, если кто-то из них предположит, что, возможно, Группа X была не так уж и ужасна...

*

319. Ваша цена за вступление.

В игре «Ультиматум» первый игрок решает, как разделить 10 долларов между собой и вторым игроком, а второй игрок решает, принять ли это деление или отвергнуть его — в последнем случае обе стороны не получают ничего. С точки зрения классической каузальной теории решений (выбор двух коробок в задаче Ньюкома, предательство в дилемме заключенного), второй игрок должен предпочесть любую ненулевую сумму ничему. Но если первый игрок ожидает такого поведения — согласия на любое ненулевое предложение, — у него нет причин предлагать больше одного цента. Как я полагаю, вы все уже знаете, я не фанат классической каузальной теории решений. Те из нас, кто по-прежнему заинтересован в сотрудничестве в дилемме заключенного — то ли потому, что она повторяющаяся, то ли потому, что в нашей функции полезности есть слагаемое справедливости, то ли потому, что мы используем нетрадиционную теорию решений, — также могут отказаться от предложения в один цент.

И действительно, большинство делящих в игре «Ультиматум» предлагают разделить сумму поровну, а большинство принимающих отвергают любое предложение меньше 20%. Игра на 100 долларов США, проведенная в Индонезии (средний доход на душу населения на тот момент составлял 670 долларов США), показала, что предложения в 30 долларов отклонялись, хотя это эквивалентно двухнедельному заработку. Вероятно, мы также можем предположить, что игроки в Индонезии не думали об академических спорах вокруг ньюкомовских задач — просто люди именно так относятся к играм типа «Ультиматум», даже когда играют на реальные деньги.

У игры «Ультиматум» есть аналог в групповой координации. (Исследовалось ли это? Надеюсь, что да...) Допустим, есть некий совместный проект — точнее, пусть это будет альтруистический совместный проект, направленный на помощь жертвам уличных ограблений в Канаде или что-то в этом роде. Если вы присоединитесь к этому групповому проекту, вы сделаете больше, чем могли бы сделать в одиночку, с точки зрения вашей функции полезности. Так что, очевидно, вам следует присоединиться.

Но подождите! Проект по борьбе с грабежами держит свои средства в фонде денежного рынка! Это же нелепо; он не принесет даже столько же процентов, сколько казначейские облигации США, не говоря уже об индексном фонде, выплачивающем дивиденды.

Очевидно, этим проектом руководят идиоты, и вам не следует присоединяться, пока они не изменят свои неразумные методы инвестирования.

Но тут вы можете понять — если остановитесь и задумаетесь, — что, учитывая все обстоятельства, вы всё равно добились бы большего, сотрудничая с общим проектом по борьбе с грабежами, чем отправляться на борьбу с преступностью в одиночку. Но тогда — возможно, вы также осознаете — если вы слишком легко согласитесь присоединиться к группе, то какой у них будет мотив менять свой неразумный инвестиционный подход?

Ну... Ладно, смотрите. Возможно, дело в том, что мы вышли из среды предков, где все знали друг друга... и, возможно, в том, что нонконформистская тусовка пытается отвергнуть нормальные сплачивающие группу силы, такие как конформизм и поклонение лидерам...

...Мне кажется, что люди из среды атеистов / либертарианцев / технофилов / любителей научной фантастики и так далее часто задирают цену за своё участие очень, очень, очень высоко. Прямо как в игре «Ультиматум» с делением на 50 участников, где каждый из 50 игроков требует не менее 20% денег.

Если задуматься о том, как часто подобные ситуации возникали в среде наших предков, то дело здесь почти наверняка в эволюционной психологии. Эмоции Системы 1, а не расчеты Системы 2. Наша интуиция относительно того, когда следует присоединиться к группе, а когда — выжидать, требуя больше уступок в