Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

для более тонких случаев. В данном случае обратный урок состоит в том, что если вы не можете просто по своему хотению отмахнуться от вероятности, равной единице, делённой на гугол, то не можете отмахнуться и от вероятности в 0,9. Всё это один и тот же скользкий обрыв.

Вспомните его пример, если поймаете себя на мысли: «Но вы ведь не можете доказать, что я не прав». Если вы собираетесь игнорировать вероятностный контраргумент, почему бы точно так же не проигнорировать и доказательство?

*

51. Ошибка серого.

Софист: «Мир не чёрно-белый. Никто не совершает абсолютного добра или абсолютного зла. Всё вокруг серое. Следовательно, никто не лучше других».

Зетет: «Зная только серый цвет, ты делаешь вывод, что все оттенки серого одинаковы. Ты смеёшься над простотой двухцветного взгляда на мир, однако сам заменяешь его одноцветным...»

— Марк Стиглер, «Праща Давида»1

Не знаю, есть ли у ошибки Софиста официальное название, но я называю её Ошибкой серого. Мы видели её проявление в предыдущем эссе — в рассуждениях человека, который верил, что шансы против какого-то события, равные двум в степени семьсот пятьдесят миллионов к одному, означают, что «шанс всё ещё есть». Все вероятности для него были просто «неопределёнными», а значит, он чувствовал себя вправе игнорировать их, если ему вздумается.

Утверждения «Луна сделана из зелёного сыра» и «Солнце состоит в основном из водорода и гелия» одинаково выражают неопределённость, но это далеко не одна и та же неопределённость.

Всё вокруг состоит из оттенков серого, но есть оттенки серого настолько светлые, что кажутся почти белыми, и оттенки настолько тёмные, что кажутся почти чёрными. Даже если бы это было не так, мы всё равно могли бы сравнивать оттенки и говорить: «этот темнее» или «этот светлее».

Много лет назад одним из тех странных маленьких моментов, которые сформировали меня как рационалиста, стало прочтение абзаца из книги «Игрок вне игры» Иэна М. Бэнкса, особенно выделенного жирным шрифтом предложения:2

Виновная система не признаёт невиновных. Как и любой властный аппарат, считающий, что все либо за него, либо против, мы — против него. Вы тоже были бы против, если бы задумались. Сам образ вашего мышления относит вас к числу его врагов. Возможно, это и не ваша вина, ведь любое общество навязывает часть своих ценностей тем, кто в нём вырос, но суть в том, что некоторые общества стараются максимизировать этот эффект, а некоторые — минимизировать. Вы вышли из последнего и теперь должны объясняться перед первым. Изворачиваться будет труднее, чем вы думаете; нейтралитет, скорее всего, невозможен. Вы не можете отказаться от своих политических взглядов; они не являются какой-то обособленной сущностью, которую можно отделить от остального вашего существа; они функция вашего существования. Я это знаю, и они это знают; вам лучше с этим смириться.

Пожалуйста, не пишите гневных комментариев о том, что если общество навязывает меньше своих ценностей, то каждому последующему поколению приходится проделывать больше работы, чтобы начинать всё с нуля. Из этого абзаца я вынес вовсе не это.

Я вынес из него мысль, которая задним числом кажется настолько очевидной, что я мог бы почерпнуть её в сотне других мест; но почему-то именно этот абзац заставил детали в моей голове встать на свои места.

Это была концепция Количественного пути применительно к жизненным проблемам — таким как моральные суждения и стремление к самосовершенствованию. Идея о том, что даже если вы не можете полностью выключить некий тумблер, вы всё равно можете стремиться увеличить или уменьшить его значение.

Разве это слишком очевидно, чтобы об этом говорить? Я утверждаю, что нет, поскольку многие блогеры писали о Overcoming Bias: «Это невозможно, никто не может полностью избавиться от предвзятости». И мне неважно, если автор этих слов — профессиональный экономист; очевидно, что он ещё не постиг Количественный путь в его приложении к повседневной жизни и таким вещам, как самосовершенствование. То, что я не могу устранить полностью, всё равно очень даже стоит уменьшить.

Или рассмотрим этот диалог между Робином Хэнсоном и Тайлером Коуэном. Робин Хэнсон сказал, что предпочитает отдавать не менее 75% веса предписаниям экономической теории по сравнению со своей интуицией: «Я стараюсь в основном просто напрямую применять экономическую теорию, добавляя как можно меньше личных или культурных суждений». Тайлер Коуэн ответил:

На мой взгляд, никакого «прямого применения экономической теории» не существует... Теории всегда применяются через наши личные и культурные фильтры, и иначе быть просто не может.

Да, но вы можете попытаться минимизировать этот эффект или можете делать то, что его гарантированно усилит. И если вы пытаетесь его минимизировать, то во многих случаях я считаю вполне разумным называть результат «прямым» применением — даже в экономике.

«Все несовершенны». Махатма Ганди был несовершенен, и Иосиф Сталин был несовершенен, но это были разные оттенки несовершенства. Утверждение «Все несовершенны» — отличный пример замены двухцветного взгляда одноцветным. Если вы скажете: «Никто не идеален, но некоторые люди менее несовершенны, чем другие», вам вряд ли станут аплодировать, но вы даёте надежду тем, кто стремится стать лучше. В конце концов, никто не является совершенно несовершенным.

(Когда мне говорят: «Перфекционизм вреден», я отвечаю: «Я считаю, что быть несовершенным — это нормально, но не настолько, чтобы это замечали другие».)

Точно так же глупо поступают те, кто заявляет: «Каждая научная парадигма навязывает свои допущения при интерпретации экспериментов», а затем ведут себя так, будто доказали, что наука находится на одном уровне с шаманством. Каждое мировоззрение навязывает часть своей структуры наблюдениям, но суть в том, что есть мировоззрения, которые пытаются свести это навязывание к минимуму, и мировоззрения, которые этим гордятся. Абсолютно белого цвета не существует, но одни оттенки серого гораздо светлее других, и глупо относиться к ним так, будто все они одинаковы.

То, что Луна вращается вокруг Земли последние несколько миллиардов лет, то, что вы видели её на небе все эти годы и ожидаете увидеть завтра в назначенном месте и в положенной фазе, — всё это не является абсолютной достоверностью. И если вы ожидаете, что невидимый дракон исцелит вашу дочь от рака, это тоже не является абсолютной достоверностью. Но это весьма разные степени неопределенности: одно дело — ожидать, что события вновь произойдут в точности так, как вы ранее предсказали с точностью до двенадцатого знака после запятой, и совсем другое — ожидать чего-то, что нарушает