Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Для убеждения в каком-либо факте существуют лишь две возможности: либо оно появилось в результате процесса сопряжения разума и реальности, либо нет. Если нет, убеждение не может оказаться верным иначе как по чистому совпадению. Для убеждений, обладающих хоть какой-то внутренней сложностью (требующих для симуляции компьютерной программы объемом более 10 бит), пространство возможностей столь велико, что совпадение исключено.

Безусловные факты — это не то же самое, что безусловные убеждения. Если сопряженное свидетельство убеждает меня в безусловности какого-то факта, это не значит, что я всегда верил в этот факт без необходимости в сопряженных свидетельствах.

Я верю, что 2 + 2 = 4, и мне довольно легко представить ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: точно такую же ситуацию, какая сейчас убеждает меня в том, что 2 + 2 = 4. Таким образом, я не боюсь оказаться жертвой слепой веры.

Если среди читателей есть христиане, знакомые с теоремой Байеса (просьба к нумерофобам не беспокоиться), могу ли я спросить вас: какая ситуация убедила бы вас в истинности ислама? По всей видимости, это была бы та же ситуация, которая причинно обусловила вашу нынешнюю веру в христианство: мы бы вытолкнули вас, кричащего, из утробы мусульманки, и вас воспитали бы родители-мусульмане, которые постоянно твердили бы вам, что верить в ислам безусловно — это благо. Или дело не только в этом? Если так, то какая ситуация убедила бы вас в истинности ислама или, по крайней мере, в ложности христианства?

*

54. Бесконечная уверенность. В эссе «Абсолютный авторитет» я утверждал, что вам не нужна бесконечная уверенность:

Если вам нужно выбрать между двумя альтернативами, А и Б, и вы каким-то образом ухитряетесь обрести достоверно точную, хорошо откалиброванную 100-процентную уверенность в том, что вариант А абсолютно и полностью желателен, а вариант Б — это средоточие всего злого и отвратительного, то это достаточное условие для того, чтобы предпочесть вариант А варианту Б. Но это не необходимое условие... Вы можете обладать лишь не вполне уверенным знанием о том, какой из вариантов относительно лучше, а какой относительно хуже, и всё равно сделать выбор. На самом деле, это должно быть обычным делом.

Что касается утверждения «2 + 2 = 4», мы должны отличать карту от территории. Учитывая кажущуюся абсолютную стабильность и универсальность физических законов, вполне возможно, что за всю историю Вселенной ни одна частица ни разу не превысила локальную скорость света. То есть предел скорости света может быть не просто истинным в 99% случаев, или в 99,9999% случаев, или в (1 − 1/гуголплекс) случаев, а просто всегда и абсолютно истинным.

Но можем ли мы когда-либо иметь абсолютную уверенность в ограничении скорости света — это совсем другой вопрос. Карта — не территория.

То, что студент списал свою работу, может быть чистой и абсолютной правдой, но имеете ли вы вообще хоть какое-то знание об этом факте — не говоря уже об абсолютной уверенности в своём мнении, — это отдельный вопрос. Если вы подбросите монетку и не посмотрите на неё, то факт, что она лежит орлом вверх, может быть абсолютно истинным, в то время как вы будете совершенно не уверены, орёл там выпал или решка. Степень неопределённости — это не то же самое, что степень истинности или частота события.

То же самое справедливо и для математических истин. Сомнительно, можно ли назвать утверждение «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинным в каком-то чисто абстрактном смысле, отдельно от физических систем, поведение которых кажется схожим с аксиомами Пеано. Сказав это, я тем не менее пойду напролом и предположу: в каком бы смысле утверждение «2 + 2 = 4» ни было истинным, оно истинно всегда и в точности, а не приблизительно («2 + 2 на самом деле равно 4,0000004») и не в 999 999 999 999 случаях из 1 000 000 000 000.

Я не совсем уверен, что должно означать слово «истинно» в данном случае, но остаюсь при своём предположении. Убедительность утверждения «"2 + 2 = 4" истинно всегда» намного превосходит убедительность любой конкретной философской позиции касательно того, что именно означают слова «истинно», «всегда» или «есть» в приведённом выше суждении.

Это, однако, не означает, что у меня есть абсолютная уверенность в том, что 2 + 2 = 4. Обратитесь к предыдущему обсуждению того, как убедить меня в том, что 2 + 2 = 3 — это можно было бы сделать с помощью примерно тех же свидетельств, которые изначально убедили меня, что 2 + 2 = 4. Все те прежние свидетельства могли мне померещиться в галлюцинации, или же я могу неверно их помнить. В анналах неврологии описаны и более странные нарушения работы мозга.

Так какую же вероятность нам следует приписать утверждению «2 + 2 = 4», если мы вообще приписываем ему какую-то вероятность? В подобных случаях вы стремитесь достичь хорошей калибровки — чтобы утверждения, которым вы присваиваете «вероятность 99%», оказывались верными в 99 случаях из 100. На самом деле это чертовски сложнее, чем может показаться. Возьмите сто человек и попросите каждого сделать десять заявлений, в которых они «уверены на 99%». Как вы думаете, окажутся ли ошибочными примерно 10 заявлений из этой тысячи?

Я не стану обсуждать реальные эксперименты, проводившиеся по калибровке, — вы можете найти их в главе моей книги «Когнитивные искажения, потенциально влияющие на суждения о глобальных рисках», — потому что я не раз замечал: когда я выкладываю это людям без надлежащей подготовки, они впоследствии используют это как Абсолютно Универсальный Контраргумент, который почему-то мгновенно всплывает в памяти, как только им нужно принизить уверенность кого-то, чьё мнение им не нравится, но напрочь забывается, когда они оценивают собственные суждения. Поэтому я стараюсь не говорить об экспериментах по калибровке, кроме как в рамках структурированного изложения рациональности, включающего предостережения против мотивированного скептицизма.

Но наблюдаемая калибровка людей, заявляющих, что они «уверены на 99%», не даёт 99-процентной точности.

Предположим, вы говорите, что на 99,99% уверены в том, что 2 + 2 = 4. Тем самым вы только что заявили, что могли бы сделать 10 000 независимых утверждений с такой же степенью уверенности и