Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Это поразительная психология — все эти заявления в духе: «Наука тоже основана на вере, так-то!» Обычно это говорят люди, утверждающие, что вера — это хорошо. Но почему тогда они произносят «Наука тоже основана на вере!» таким гневно-торжествующим тоном, а не как комплимент? И, казалось бы, с их стороны это довольно опасный комплимент. Если наука основана на «вере», значит, она того же рода, что и религия — они напрямую сопоставимы. Если наука — это религия, то это религия, которая исцеляет больных и раскрывает тайны звёзд. Логично было бы сказать: «Жрецы науки могут совершенно открыто, публично и проверяемо ходить по Луне, совершая чудо веры, а вера ваших жрецов на такое не способна». Уверены ли вы, что хотите заходить на эту территорию, о поборник веры? Возможно, поразмыслив хорошенько, вы предпочтёте забрать назад свои слова о том, что «наука — это тоже религия»?

Здесь наблюдается странная динамика: вы пытаетесь очистить свой оттенок серого, доводите его до состояния, когда он становится совсем светлым, и вдруг кто-то встаёт и глубоко оскорблённым тоном заявляет: «Но ведь это не белый! Это серый!» Одно дело, когда говорят: «Этот оттенок не такой светлый, как вам кажется, из-за конкретных проблем X, Y и Z». И совсем другое — когда кто-то гневно восклицает: «Это не белый! Это серый!» — не указывая при этом ни на одно конкретное тёмное пятно.

В таких случаях я начинаю подозревать психологию более несовершенную, чем обычно: возможно, человек заключил дьявольскую сделку со своими собственными ошибками и теперь и слышать не хочет ни о какой возможности стать лучше. Когда человек находит оправдание тому, чтобы не пытаться стать лучше, он часто отказывается признать, что кто-то другой может пытаться стать лучше, и с этого момента любой способ самосовершенствования становится его врагом, а любое заявление о возможности двигаться вперёд воспринимается им как личное оскорбление. И вот на одном дыхании он с гордостью произносит: «Я рад быть серым», а в следующий же миг с гневом добавляет: «Но и вы тоже серые!»

Даже если нет чёрного и белого, всё равно есть более светлое и более тёмное, и не все оттенки серого одинаковы.

G2 отсылает нас к эссе Азимова «Относительность неправды»:3

Когда люди думали, что Земля плоская, они ошибались. Когда люди думали, что Земля шарообразная, они тоже ошибались. Но если вы считаете, что верить в шарообразность Земли — столь же глубокое заблуждение, как и верить в её плоскость, то вы ошибаетесь больше, чем те и другие вместе взятые.

*

1. Марк Стиглер, «Праща Давида» (Baen, 1988).

2. Иэн Бэнкс, «Игрок вне игры» (Orbit, 1989).

3. Айзек Азимов, «Относительность неправды» (Oxford University Press, 1989).

52. Абсолютный авторитет.

И вот кое-кто приходит к вам и свысока заявляет: «Наука на самом деле ничего не знает. Всё, что у вас есть, — это теории, вы не можете знать наверняка, что вы правы. Вы, учёные, передумали насчёт того, как работает гравитация, — где гарантия, что завтра вы не передумаете насчёт эволюции?»

Перед вами — бездонная культурная пропасть. Если вы думаете, что её можно перешагнуть за пару фраз, вас ждёт горькое разочарование.

В мире непосвящённых существует авторитет и не-авторитет. То, чему можно доверять, заслуживает доверия; то, чему доверять нельзя, можно с тем же успехом выбросить на помойку. Есть хорошие источники информации и плохие источники информации. Если учёные хотя бы раз за всю свою историю меняли показания, значит, наука не может быть истинным Авторитетом и ей больше никогда нельзя доверять — как свидетелю, пойманному на противоречии, или как сотруднику, уличённому в краже из кассы.

К тому же этот человек принимает как данность, что сторонник идеи обязан защищать её от любых возможных контраргументов и ни в чём не признаваться. Все утверждения оцениваются с соответствующей скидкой. Если уж сам сторонник науки признаёт, что наука несовершенна — ну, значит, грош ей цена.

Если человек всю жизнь привык жить в уверенности, вы не можете просто сказать ему: «Наука вероятностна, как и любое другое знание». Первую половину фразы он воспримет как чистосердечное признание вины, а вторую отбросит как неуклюжую попытку обвинить всех вокруг, лишь бы уйти от суда.

Ты признала, что тебе нельзя доверять, — так изыди, Наука, и больше нас не тревожь!

Один из очевидных источников такого мышления — религия, где священные тексты якобы исходят от Бога; следовательно, признание любого изъяна в них полностью уничтожило бы их авторитет; поэтому малейшее сомнение греховно, а заявлять о своей уверенности обязательно, уверены вы на самом деле или нет.

Но я подозреваю, что традиционная школьная система тоже приложила к этому руку. Учитель говорит вам определённые вещи, и вы обязаны в них верить и воспроизводить их на контрольной. Но когда ученик в классе высказывает предположение, вы вовсе не обязаны с ним соглашаться — вы вольны соглашаться или не соглашаться (как кажется), и никто вас за это не накажет.

Боюсь, этот опыт проецирует сферу убеждений на социальные сферы авторитета, приказа и закона. В социальной сфере существует качественная разница между абсолютными и неабсолютными законами, между приказами и пожеланиями, между авторитетами и не-авторитетами. Кажется, будто существует строгое и нестрогое знание, подобно строгому и нестрогому правилам. Строгим авторитетам необходимо подчиняться, тогда как нестрогим советам можно следовать, а можно и пренебречь ими — по личному усмотрению. И наука, раз уж она признаёт возможность ошибки, должна относиться ко второй категории.

(Попутно замечу: я вижу сходство с теми, кто считает, будто если вы не получили Авторитетное значение вероятности, выписанное учителем на бумажке или спущенное из какого-то другого Неоспоримого Источника, то ваша неопределённость не имеет отношения к байесовской теории вероятностей. Ведь кто-то может — о ужас! — поспорить с вашей оценкой априорной вероятности. Таким образом, не до конца просвещённым кажется, что байесовские априорные вероятности относятся к категории ученических гипотез, а не к категории истин, продиктованных учителем, — то есть это не настоящее знание.)

Культурная пропасть между Авторитетным Путём и Количественным Путём изрядно досаждает тем из нас, кто вглядывается в неё со стороны рационалистов. Перед нами человек, который верит, что обладает знанием более надёжным, чем просто вероятностные догадки науки — такие как догадка о том, что завтра Луна