Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Короче говоря, существует очень естественный способ оценивать точность присвоения вероятности в сравнении с реальностью: просто возьмите логарифм вероятности, приписанной реальному положению дел.

Так что если снег белый, моё убеждение «70%: „снег белый“» наберёт -0,51 бита: log2(0,7) = -0,51.

Но что если снег не белый, вероятность чего, как я признал, составляет 30%? Если предложение «снег белый» ложно, моё убеждение «30% вероятности: „снег не белый“» наберёт -1,73 бита. Заметьте, что -1,73 < -0,51, то есть я справился хуже.

Насколько же точными я считаю свои собственные убеждения? Что ж, моё математическое ожидание этой оценки составляет 70% × -0,51 + 30% × -1,73 = -0,88 бита. Если снег белый, то мои убеждения окажутся более точными, чем я ожидал; а если снег не белый, мои убеждения окажутся менее точными, чем я ожидал; но ни в том, ни в другом случае моё убеждение не будет точно столь же точным, как я ожидал в среднем.

Всё это не следует путать с утверждением «Я приписываю 70%-ную уверенность тому, что „снег белый“». Я вполне могу верить в это суждение с вероятностью ~1 — то есть быть абсолютно уверенным, что таково моё убеждение на самом деле. В таком случае я буду ожидать, что моё метаубеждение «~1: „Я приписываю 70%-ную уверенность тому, что ‚снег белый‘“» наберёт ~0 бит точности, а это лучший из возможных результатов.

То, что я не уверен насчёт снега, не означает, что я не уверен насчёт своих закавыченных вероятностных убеждений. Снег — он там, снаружи, а мои убеждения — внутри меня. Степень моей неопределённости относительно того, насколько я не уверен насчёт снега, может быть куда меньше, чем моя неопределённость насчёт самого снега. (Хотя убеждения об убеждениях тоже не всегда точны.)

Сравните эту вероятностную ситуацию с качественным мышлением, в котором я просто верю, что снег белый, и верю, что верю, будто снег белый, и верю, что «„снег белый“ — это истина», и верю, что «моё убеждение, будто „‚снег белый‘ — это истина“, правильно» и так далее. Поскольку все задействованные здесь величины равны 1, их легко перепутать.

Однако тонкие различия количественного мышления будут сведены на нет, если вы начнёте думать, будто «„‚снег белый‘ с вероятностью 70%“ истинно», что является ошибкой типа. Тот факт, что вы верите в «70%-ную вероятность того, что ‚снег белый‘», истинен в отношении вас; но это не означает, что само распределение вероятностей само по себе может быть «истинным». Это убеждение набирает либо -0,51 бита, либо -1,73 бита точности в зависимости от реального положения дел.

Знатоки распознают в суждении «„‚снег белый‘ с вероятностью 70%“ истинно» ошибку, состоящую в допущении, будто вероятности являются неотъемлемыми свойствами самих вещей.

Изнутри наши убеждения о мире выглядят как сам мир, а наши убеждения о собственных убеждениях выглядят как убеждения. Когда вы видите мир, вы переживаете убеждение изнутри. Когда вы замечаете, что во что-то верите, вы переживаете изнутри убеждение об убеждении. Поэтому если ваши внутренние репрезентации убеждения и убеждения об убеждении несхожи друг с другом, у вас меньше шансов перепутать их и совершить ошибку проекции разума — я надеюсь.

Когда вы мыслите вероятностями, ваши убеждения и ваши убеждения о собственных убеждениях, смею надеяться, будут представлены недостаточно сходно для того, чтобы вы перепутали убеждение и точность или точность и реальность. Когда вы мыслите вероятностями о мире, ваши убеждения будут представлены вероятностями в интервале (0; 1). В отличие от истинностных значений суждений, которые принадлежат множеству {истина, ложь}. Что касается точности вашего вероятностного убеждения, её вы можете представить в интервале (-∞; 0). Ваши вероятности относительно ваших убеждений обычно будут экстремальными. А сами вещи — ну, они просто красные, или синие, или весят 20 фунтов, или что-то в этом роде.

Таким образом, мы, возможно, с меньшей вероятностью перепутаем карту с территорией.

Это различение типов также может помочь нам помнить, что неопределённость — это состояние разума. Монета по своей природе не пребывает в 50%-й неопределённости относительно того, какой стороной она упадёт. Монета не является процессором убеждений и не обладает частичной информацией о самой себе. При качественном рассуждении вы можете сформировать убеждение, которое напрямую соотносится с монетой, например: «Монета упадёт орлом». Это убеждение будет истинным или ложным в зависимости от монеты, и между истинностью или ложностью убеждения и выпавшей стороной монеты будет существовать очевидная логическая связь.

Но даже при качественном рассуждении утверждать, что сама монета «истинна» или «ложна», было бы грубой ошибкой типа. Монета — это не убеждение. Это монета. Территория — это не карта.

Если монета не может быть истинной или ложной, то как она вообще может приписывать самой себе 50%-ю вероятность?

*

196. Думайте как реальность.

Каждый раз, когда я слышу, как кто-то называет квантовую физику «странной» — когда кто-то сокрушается о таинственном влиянии наблюдения на наблюдаемое, или о причудливом существовании нелокальных корреляций, или о невероятной невозможности одновременно знать координату и импульс, — я думаю про себя: этот человек никогда не поймет физику, сколько бы книг он ни прочел.

Реальность существовала задолго до вашего появления. Не стоит обзывать ее обидными словами вроде «причудливая» или «невероятная». Вселенная распространяла комплексные амплитуды в конфигурационном пространстве в течение десяти миллиардов лет еще до того, как на Земле зародилась жизнь. Квантовая физика не «странная». Вы странные. У вас есть абсолютно нелепая идея, будто реальность должна состоять из сталкивающихся друг с другом маленьких бильярдных шариков, в то время как на самом деле реальность — это совершенно нормальное облако комплексной амплитуды в конфигурационном пространстве. Это ваша проблема, а не реальности, и меняться нужно именно вам.

Человеческая интуиция создана эволюцией, а эволюция — это хак. Тот же самый процесс оптимизации, который вывернул вашу сетчатку задом наперед, а затем проложил зрительный кабель прямо через поле зрения, также приспособил вашу зрительную систему для обработки устойчивых объектов, хаотично движущихся в трех пространственных измерениях, — просто потому, что именно это требовалось для охоты на тигров. Но «тигры» — это неточные поверхностные обобщения: тигры возникали постепенно в ходе эволюционного процесса, и они далеко не во всем абсолютно идентичны друг другу. Когда вы спускаетесь на фундаментальный уровень — уровень, где законы стабильны, всеобщи и не знают исключений, — там никаких тигров нет. На самом деле там нет вообще никаких устойчивых объектов, движущихся в