Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Следующая история произошла со мной в IRC-чате так давно, что я тогда ещё проводил время в IRC-чатах. Время стёрло детали, поэтому мой рассказ может быть неточным.

Итак, сижу я как-то в IRC-чате, и тут кто-то пишет, что его другу нужен медицинский совет. Друг этот говорит, что у него внезапно заболело в груди, он вызвал скорую, скорая приехала, но фельдшеры сказали, что всё в порядке, и уехали, а теперь боль в груди усиливается. Что делать его другу?

Эта история меня озадачила. Я вспомнил, как читал о нью-йоркских бездомных, которые вызывают скорую просто ради того, чтобы их отвезли в тепло, и о том, что медики обязаны везти их в отделение неотложной помощи даже в двадцать седьмой раз за день. Ведь если они этого не сделают, на службу скорой помощи могут подать в суд на огромные деньги. Точно так же отделения неотложной помощи по закону обязаны оказывать помощь любому человеку, независимо от его способности платить. (Расходы больница берёт на себя, а они колоссальны, из-за чего больницы закрывают свои отделения неотложной помощи... Невольно задумываешься: зачем вообще нужны экономисты, если мы всё равно их игнорируем?) Так что я не совсем понимал, как описанные события вообще могли произойти. Любого, кто жаловался на внезапную боль в груди, скорая должна была забрать незамедлительно.

И вот здесь-то я и оступился как рационалист. Я вспомнил несколько случаев, когда мой врач абсолютно не паниковал при симптомах, которые мне казались крайне тревожными. И официальная медицина всегда оказывалась права. Каждый божий раз. У меня самого как-то раз болело в груди, и врач терпеливо объяснил мне, что я описываю боль в грудных мышцах, а не инфаркт. Поэтому я написал в IRC-канал: «Ну, если медики сказали твоему другу, что это ерунда, значит, там и вправду ничего нет — его бы обязательно забрали, будь там хоть малейший шанс на серьёзные проблемы».

Таким образом мне удалось объяснить эту историю в рамках своей существующей модели, хотя картина всё равно казалась слегка притянутой за уши...

Позже этот парень возвращается в чат и говорит, что его друг всё это выдумал. Очевидно, этот друг не отличался особой надёжностью.

Возможно, мне следовало сообразить, что какой-то знакомый чьего-то знакомого в IRC-канале может быть менее надёжным, чем статья в научном журнале. Увы, верить проще, чем сомневаться; мы верим инстинктивно, а сомнение требует сознательных усилий.1

Поэтому вместо этого я ценой неимоверных усилий заставил свою модель реальности объяснить аномалию, которой на самом деле никогда не происходило. И ведь я знал, насколько это постыдно. Я знал, что полезность модели заключается не в том, что она может объяснить, а в том, чего она объяснить не может. Гипотеза, которая ничего не запрещает, разрешает всё и, следовательно, никак не ограничивает наши ожидания.

Ваша сила как рационалиста — в способности испытывать большее недоумение от вымысла, чем от реальности. Если вы одинаково хорошо можете объяснить любой исход, ваши знания равны нулю.

Все мы время от времени бываем слабы; грустно то, что в тот раз я мог быть сильнее. У меня была вся информация, необходимая для правильного вывода, я даже заметил нестыковку, но проигнорировал её. Моё замешательство было Уликой, а я эту Улику выбросил.

Мне следовало уделить больше внимания этому ощущению, что картина всё-таки кажется слегка притянутой за уши. Это одно из самых важных чувств для искателя истины, часть вашей силы как рационалиста. Недостаток архитектуры человеческого познания заключается в том, что это ощущение проявляется как тихое напряжение где-то на задворках ума, а не как воющая сирена тревоги и мигающая неоновая вывеска с надписью:

ЛИБО ВАША МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА.

*

1. Daniel T. Gilbert, Romin W. Tafarodi, and Patrick S. Malone, “You Can’t Not Believe Everything You Read,” Journal of Personality and Social Psychology 65 (2 1993): 221–233, doi:10.1037/0022-3514.65.2.221.

27. Отсутствие свидетельств — это свидетельство отсутствия. Из книги Робина Доуза «Рациональный выбор в неопределенном мире»1:

На самом деле эта подгонка свидетельств под гипотезу задним числом сыграла свою роль в одной из самых мрачных глав в истории Соединенных Штатов — интернировании американцев японского происхождения в начале Второй мировой войны. Когда губернатор Калифорнии Эрл Уоррен давал показания на слушаниях в Конгрессе в Сан-Франциско 21 февраля 1942 года, один из участников слушаний указал на то, что до сих пор не было зафиксировано никаких диверсий или каких-либо других видов шпионажа со стороны американцев японского происхождения. Уоррен ответил: «Я считаю, что это отсутствие [подрывной деятельности] — самый зловещий знак во всей нашей ситуации. Это убеждает меня больше, чем, пожалуй, любой другой фактор, в том, что диверсии, которые нам готовят, действия „пятой колонны“, которые нас ожидают, спланированы по времени точно так же, как была рассчитана атака на Перл-Харбор... Полагаю, нас просто убаюкивают ложным чувством безопасности».

Рассмотрим аргумент Уоррена с байесовской точки зрения. Когда мы видим свидетельство, гипотезы, которые приписывали этому свидетельству более высокое правдоподобие, увеличивают свою вероятность за счет гипотез, которые приписывали свидетельству меньшее правдоподобие. Это феномен относительных правдоподобий и относительных вероятностей. Вы можете приписать свидетельству высокое правдоподобие и всё же потерять часть вероятностной массы в пользу какой-то другой гипотезы, если эта другая гипотеза приписывает ему еще более высокое правдоподобие.

Уоррен, похоже, утверждает, что отсутствие диверсий подтверждает существование «пятой колонны». Можно возразить, что «пятая колонна» могла бы отложить свои диверсии. Но правдоподобие того, что отсутствие «пятой колонны» повлечет за собой отсутствие диверсий, всё равно выше.

Пусть E означает наблюдение диверсий, а ¬E — наблюдение их отсутствия. Символ H1 означает гипотезу о наличии «пятой колонны» из американцев японского происхождения, а H2 — гипотезу о том, что никакой «пятой колонны» не существует. Условная вероятность P(E|H), или «E при условии H», показывает, с какой уверенностью мы ожидали бы увидеть свидетельство E, если бы предположили, что гипотеза H верна.

Каким бы ни было правдоподобие того, что «пятая колонна» не станет устраивать диверсий — то есть вероятность P(¬E|H1), — оно не будет столь же велико, как правдоподобие отсутствия диверсий при условии, что никакой «пятой колонны» нет, то есть вероятность P(¬E|H2). Таким образом, наблюдение отсутствия диверсий увеличивает вероятность того, что «пятой колонны» не существует.

Отсутствие диверсий не доказывает, что «пятой колонны» не существует. Отсутствие доказательств