Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Это приводит к проблеме, которую обычно формулируют следующим образом: утренняя звезда и вечерняя звезда — это один и тот же объект, планета Венера. Предположим, Джон знает, что утренняя звезда и вечерняя звезда — один и тот же объект. Однако Мэри считает, что утренняя звезда — это бог Люцифер, а вечерняя звезда — богиня Венера. Джон полагает, что Мэри считает, будто утренняя звезда — это Люцифер. Должен ли Джон на этом основании (в силу подстановки) полагать, что Мэри считает, будто вечерняя звезда — это Люцифер?

Или вот ещё более простая версия этой проблемы. Утверждение 2 + 2 = 4 истинно; теоремой является то, что (((2 + 2) = 4) = ИСТИНА). Великая теорема Ферма тоже истинна. Следовательно: Я верю, что 2 + 2 = 4 ⇒ Я верю в ИСТИНУ ⇒ Я верю в Великую теорему Ферма.

Да, я знаю, что это кажется очевидно неверным. Но представьте, как кто-то пишет программу логического вывода, использующую принцип «равные термы всегда взаимозаменяемы», и сталкивается с этой проблемой. А теперь представьте, как этот человек пишет статью о том, как её предотвратить. И представьте, как кто-то другой не соглашается с его решением. Этот спор продолжается до сих пор.

Лично я бы сказал, что Джон совершает ошибку типов — как если бы он пытался вычесть 5 граммов из 20 метров. «Утренняя звезда» — это не тот же тип, что утренняя звезда, не говоря уже о том, что это не одна и та же вещь. Убеждения — это не планеты.

утренняя звезда = вечерняя звезда

«утренняя звезда» ≠ «вечерняя звезда»

Проблема, на мой взгляд, проистекает из неспособности строго соблюдать различие типов между убеждениями и вещами. Изначальная ошибка заключалась в создании ИИ, который хранит свои убеждения об убеждениях Мэри касательно «утренней звезды», используя то же представление, что и для своих убеждений об утренней звезде.

Если Мэри считает, что «утренняя звезда» — это Люцифер, это не значит, что Мэри считает, будто «вечерняя звезда» — это Люцифер, поскольку «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за неумения расставлять кавычки в нужных местах.

Возможно, вы помните, что я уже не в первый раз говорю о соблюдении дисциплины типов — в прошлый раз это было, когда я обсуждал ошибку смешения ожидаемой полезности с полезностью. Когда вы только начинаете изучать физику, чрезвычайно полезно приучить себя следить за единицами измерения — постоянное выписывание всех этих «см», «кг» и так далее может казаться занудством, пока вы не заметите, что (а) ваш ответ, кажется, имеет не тот порядок величины и (б) выражен он в секундах на квадратный грамм.

Точно так же убеждения — это совсем не то же самое, что планеты. Если говорить, по крайней мере, о человеческих убеждениях, то: убеждения живут в мозгу, планеты живут в космосе. Убеждения весят несколько микрограммов, планеты весят гораздо больше. Планеты больше, чем убеждения . . . но вы поняли идею.

Простого заключения в кавычки слов «утренняя звезда», похоже, недостаточно, чтобы люди перестали путать их с самой утренней звездой, из-за визуального сходства текста. Так что, возможно, лучшим способом соблюдения дисциплины типов было бы использование явно отличающегося кодирования:

утренняя звезда = вечерняя звезда

21.20.18.6.15.15.33.33.0.9.3.6.9.5.1 ≠ 3.6.25.6.18.15.33.33.0.9.3.6.9.5.1.

Изучение математической логики также может помочь вам научиться отличать цитату от референта. В математической логике ⊢P («P — теорема») и ⊢☐⌈P⌉ («доказуемо, что существует закодированное доказательство закодированного предложения P в некоторой закодированной системе доказательств») — это совершенно разные утверждения. Если опустить уровень кавычек в математической логике, это будет подобно тому, как опустить единицу измерения в физике — вы сможете прийти к явно нелепым результатам вроде «Скорость света составляет 299 792 458 метров в длину».

Альфред Тарский однажды попытался определить значение «истинно», используя бесконечное семейство предложений:

(«Снег бел» истинно) тогда и только тогда, когда (снег бел)

(«Ласки зелены» истинно) тогда и только тогда, когда (ласки зелены)

. . .

Когда подобные предложения начнут казаться вам осмысленными, вы поймёте, что начали отличать закодированные высказывания от состояний внешнего мира.

Точно так же понятие истины весьма отличается от понятия реальности. Слово «истинно» сопоставляет убеждение с реальностью. Самой реальности не требуется сопоставления с какими-либо убеждениями, чтобы быть реальной. Помните об этом в следующий раз, когда кто-то заявит, что ничто не истинно.

*

195. Качественная путаница.

Я полагаю, что первопричиной путаницы в различении «убеждения», «истины» и «реальности» является качественное мышление об убеждениях.

Рассмотрим архетипичную попытку постмодерниста блеснуть умом:

«Солнце вращается вокруг Земли — это истина для охотника-собирателя Хунги, а Земля вращается вокруг Солнца — это истина для астронома Амары! У разных обществ разные истины!»

Нет, у разных обществ разные убеждения. Убеждение относится к иному типу категорий, нежели истина; это всё равно что сравнивать яблоки и вероятности.

«Ах, но ведь нет никакой разницы между тем, как вы используете слово „убеждение“ и слово „истина“! Скажете ли вы: „Я убеждён, что ‚снег белый‘“ или „‚Снег белый‘ — это истина“, вы выражаете абсолютно одно и то же мнение».

Нет, эти предложения означают совершенно разные вещи, именно поэтому я могу помыслить о возможности того, что мои убеждения ложны.

«О, вы заявляете, будто можете это помыслить, но никогда в это не верите. Как сказал Витгенштейн: „Если бы существовал глагол, означающий ‚ошибочно верить‘, у него не было бы осмысленной формы первого лица настоящего времени в изъявительном наклонении“».

Именно это я и имею в виду, указывая на качественное мышление как на источник проблемы. Дихотомия между верой и неверием, будучи бинарной, до степени смешения похожа на дихотомию между истиной и ложью.

Так что давайте вместо этого использовать количественное мышление. Предположим, я оцениваю вероятность утверждения «снег белый» в 70%. Из этого следует, что, по моему мнению, существует примерно 70-процентный шанс того, что предложение «снег белый» окажется истинным. Если предложение «снег белый» истинно, будет ли моя оценка вероятности этого утверждения в 70% тоже «истинной»? Что ж, она более истинна, чем была бы при оценке в 60%, но не настолько истинна, как при оценке в 80%.

Когда мы говорим о соответствии между оценкой вероятности и реальностью, лучшим словом, чем «истина», будет «точность». «Точность» звучит более количественно, напоминая лучника, пускающего стрелу: насколько близко к центру мишени попала