Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Так, что ещё им нужно знать? Ну, существует целая рационалистическая культура, согласно которой сомнения, вопросы и признание собственных ошибок вовсе не являются чем-то ужасным и постыдным.

Есть ещё целая концепция получения информации благодаря вглядыванию в вещи, а не обращению в чью-то веру. Когда вы вглядываетесь в вещи пристальнее, вы порой обнаруживаете, что они отличаются от того, какими казались на первый взгляд; но это не означает, что Природа солгала вам или что вам нужно вообще отказаться от попыток видеть.

Кроме того, существует понятие откалиброванной уверенности — представление о том, что «вероятность» — это не то же самое, что шкала прогресса в вашей голове, измеряющая степень вашей эмоциональной приверженности идее. Это скорее мера того, насколько часто, на практике, в реальной жизни люди, находящиеся в определённом состоянии убеждённости, говорят вещи, которые действительно оказываются правдой. Если вы возьмёте сто человек и попросите каждого сделать заявление, в котором они «абсолютно уверены», сколько из этих заявлений окажутся верными? Не сто.

Напротив, те утверждения, которые люди защищают с наибольшим фанатизмом, имеют куда меньше шансов оказаться верными, чем фразы вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы из-за них волноваться. На каждое утверждение, в котором кто-то «абсолютно уверен», вы, вероятно, сможете найти кого-то, кто «абсолютно уверен» в обратном, поскольку столь фанатичные заявления о своей убеждённости не возникают в отсутствие противостояния. Так что шкала прогресса в головах людей, измеряющая их эмоциональную приверженность убеждению, плохо переводится в откалиброванную уверенность — она даже не ведёт себя монотонно.

Что касается «абсолютной уверенности» — ну, если вы утверждаете, что вероятность чего-то составляет 99,9999%, это значит, вы полагаете, что могли бы сделать один миллион столь же сильных независимых утверждений одно за другим на протяжении примерно целого года и ошибиться в среднем лишь однажды. Это уже само по себе невероятно. (Удивительно осознавать, что мы действительно можем достичь такого уровня уверенности для заповеди «Да не выиграешь ты в лотерею».) Так что о вероятности 1,0 лучше вообще умолчать. Как только вы поймёте, что вам не нужны вероятности 1,0, чтобы нормально жить, вы осознаете, насколько абсолютно нелепо думать, будто вы вообще способны добраться до 1,0 с помощью человеческого мозга. Вероятность 1,0 — это не просто уверенность, это бесконечная уверенность.

На самом деле мне кажется, что во избежание общественного недопонимания учёным, пожалуй, следовало бы повсюду говорить «Мы не БЕСКОНЕЧНО уверены» вместо «Мы не уверены». Поскольку последнее выражение в обыденном разговоре наводит на мысль, что вам известна какая-то конкретная причина для сомнений.

*

53. Как убедить меня в том, что 2 + 2 = 3. В эссе «Что такое свидетельство?» я писал:

Вот почему рационалисты придают такое большое значение кажущемуся парадоксальным утверждению, что убеждение по-настоящему чего-то стоит, только если вас, в принципе, можно убедить в обратном. Если бы ваша сетчатка приходила в одно и то же состояние независимо от того, какой свет на неё попадает, вы были бы слепы... Отсюда и выражение «слепая вера». Если то, во что вы верите, не зависит от того, что вы видите, вас ослепили столь же надежно, как если бы выкололи вам глаза.

Джихан Баран ответил:

Я не могу представить себе ситуацию, в которой равенство 2 + 2 = 4 оказалось бы ложным. Возможно, поэтому моя вера в то, что 2 + 2 = 4, безусловна.

Признаться, я и сам не могу представить «ситуацию», которая сделала бы равенство 2 + 2 = 4 ложным. (Существуют переопределения понятий, но это не «ситуации», да и речь в таком случае пойдет уже не о двойке, четверке, знаках равенства или сложения.) Но это не делает моё убеждение безусловным. Мне довольно легко представить ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Допустим, однажды утром я встаю, достаю две беруши, кладу их рядом с двумя другими берушами на прикроватную тумбочку и замечаю, что теперь там три беруши, причём никакие беруши не появлялись и не исчезали — вопреки моей памяти о том, что два плюс два должно быть равно четырем. Более того, когда я мысленно визуализирую этот процесс, мне кажется, что для получения XXXX из XX и XX требуется, чтобы лишний X возник из ниоткуда; вдобавок это не согласуется с другой арифметикой, которую я представляю: ведь вычитание XX из XXX дает XX, а вычитание XX из XXXX дает XXX. Это противоречило бы моим воспоминаниям о том, что 3 - 2 = 1, но полагаться на память было бы нелепо перед лицом физического и мысленного подтверждения того, что XXX - XX = XX.

Я также проверил бы карманный калькулятор, Google и, возможно, свой экземпляр «1984», где Уинстон пишет, что «Свобода — это свобода сказать, что дважды два — три». Все они, разумеется, показали бы, что остальной мир согласен с моим текущим представлением о том, что 2 + 2 = 3, и противоречит моей памяти.

Как я вообще мог так заблуждаться, что верил, будто 2 + 2 = 4? На ум пришли бы два объяснения. Во-первых, неврологический сбой (возможно, вызванный чихом), из-за которого все результаты сложения в моей памяти увеличились на единицу. Во-вторых, кто-то меня дурачит — с помощью гипноза или потому, что я нахожусь в компьютерной симуляции. В последнем случае я счел бы более вероятным, что они вмешались в мои воспоминания об арифметике, нежели то, что 2 + 2 на самом деле равнялось 4. Ни одно из этих правдоподобно звучащих объяснений не помешало бы мне заметить, что я очень, очень, очень сильно запутался.

Иными словами, убедить меня в том, что 2 + 2 = 3, могло бы точно такое же свидетельство, какое сейчас убеждает меня в том, что 2 + 2 = 4: перекрёстный огонь свидетельств в виде физического наблюдения, мысленной визуализации и общественного согласия.

Было время, когда я понятия не имел, что 2 + 2 = 4. Я пришел к этому новому убеждению не в результате случайных процессов — иначе у моего мозга не возникло бы особых причин в итоге сохранить «2 + 2 = 4» вместо «2 + 2 = 7». Тот факт, что мой мозг хранит ответ, удивительно похожий на результат выкладывания двух берушей рядом с двумя другими