Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

планетам вселенной, имеют шанс столкнуться с чем-то столь же странным, как пробуждение со щупальцем (или — о ужас! — с десятью пальцами). Один миллион этих существ оценивают как «один на тысячу» априорную вероятность некоторой гипотезы X, и каждая гипотеза X даёт «один на сотню» для правдоподобия пробуждения со щупальцем. А другой миллион этих существ оценивают как «один на сотню» априорную вероятность некоторой гипотезы Y, и каждая гипотеза Y даёт «один на десять» для правдоподобия пробуждения со щупальцем. Если мы предположим, что все существа хорошо откалиброваны, то, взглянув на вселенную, мы обнаружим десять существ, которые в итоге получили щупальце из-за гипотез класса правдоподобия X, и тысячу существ, которые получили щупальца из-за гипотез класса правдоподобия Y. Так что если вы обнаружили у себя щупальце и если ваши вероятности хорошо откалиброваны, то появление щупальца, скорее всего, вытекает из гипотезы, которую вы сочли бы вероятной, а не из гипотезы, которую вы сочли бы невероятной. (А что, если ваши вероятности откалиброваны плохо, так что когда вы говорите «один на миллион», событие происходит в одном случае из двадцати? Тогда вы чрезвычайно самоуверенны, и мы скорректируем ваши вероятности в сторону меньшей различительной способности и большей энтропии.)

Гипотеза о переносе в веб-комикс, даже если она «объясняет» сценарий пробуждения со щупальцем, является плохим объяснением из-за её низкой априорной вероятности. Гипотеза о веб-комиксе никак не помогает объяснить появление щупальца, потому что она не заставляет вас ожидать пробуждения со щупальцем.

Если начать с квадриллиона разумных существ, рассеянных по вселенной, то весьма многие существа столкнутся с событиями, которые очень вероятны; лишь какой-то жалкий миллион существ переживут за свою жизнь события с вероятностью один на миллиард (как мы и ожидали бы, обозревая всё бесконечным взором и обладая идеальной калибровкой); и ни одно существо не столкнётся с невозможным.

Если вы каким-то образом действительно проснулись со щупальцем, то, скорее всего, из-за чего-то гораздо более вероятного, чем «перенос в веб-комикс» — из-за какой-то совершенно нормальной причины проснуться со щупальцем, которую вы просто не предвидели. Что это за причина? Я не знаю. Никакой. Я не ожидаю, что проснусь со щупальцем, поэтому не могу дать этому никакого хорошего объяснения. Зачем мне утруждать себя придумыванием оправданий, которыми я не рассчитываю воспользоваться? Если бы я беспокоился, что когда-нибудь мне понадобится остроумное оправдание для пробуждения со щупальцем, то причина моего беспокойства по поводу этой возможности и была бы моим объяснением.

Реальность распределяет опыт, используя вероятность, а не правдоподобность. Если вы обнаружите, что ваш ноутбук не подчиняется закону сохранения импульса, значит, реальность считает, что поступить так с вами — совершенно нормально. Как нарушение закона сохранения импульса вообще может быть совершенно нормальным? Я ожидаю, что у этого вопроса нет ответа, и отвечать на него никогда не понадобится. Аналогично, люди не просыпаются со щупальцами, так что, судя по всему, это не совершенно нормально.

Существует потрясающая истина, столь удивительная и ужасающая, что люди изо всех сил сопротивляются её следствиям. И всё же есть немногие одиночки, у которых хватает мужества принять это сатори. Вот вам мудрость, если хотите быть мудрыми:

С самого начала

Ни одного необычного события

Так и не произошло.

Увы тем, кто отворачивается от зебр и грезит о драконах! Если мы не научимся радоваться просто реальному, наша жизнь и впрямь окажется пустой.

*

1. Эдвин Т. Джейнс, Probability Theory: The Logic of Science, под ред. Джорджа Ларри Бретхорста (New York: Cambridge University Press, 2003), doi:10.2277/0521592712.

2. Фейнман, Лейтон и Сэндс, Фейнмановские лекции по физике.

3. Читатели, знакомые с математическим анализом, могут убедиться, что в более простом случае лампочки, имеющей всего два цвета, где p — ставка на первый цвет, а f — частота первого цвета, ожидаемый выигрыш f × (1 - (1 - p)2) + (1 - f) × (1 - p2) при переменной p и постоянной f достигает своего глобального максимума, когда мы полагаем p = f.

4. Не помните, как читается P(A|B)? См. статью «Интуитивное объяснение байесовского рассуждения».

5. Дж. Фрэнк Йейтс и др., «Оценка вероятностей в разных культурах», в сборнике под ред. Гиловича, Гриффина и Канемана Heuristics and Biases, 271–291.

6. Карл Р. Поппер, The Logic of Scientific Discovery (New York: Basic Books, 1959).

7. Джейнс, Probability Theory.

8. Imagination Engines, Inc., «The Imagination Engine™; or Imagitron™», 2011, http://www.imagination-engines.com/ie.htm.

9. Фридрих Шпее, Cautio Criminalis; or, A Book on Witch Trials, под ред. и в пер. Маркуса Хеллайера, Studies in Early Modern German History (1631; Charlottesville: University of Virginia Press, 2003).

10. цитируется по: Дейв Робинсон и Джуди Гроувз, Philosophy for Beginners, 1st ed. (Cambridge: Icon Books, 1998).

11. Фонд TalkOrigins, «Часто задаваемые вопросы о креационизме и эволюции», http://www.talkorigins.org/origins/faqs-qa.html.

12. Дэниел К. Деннет, Darwin’s Dangerous Idea: Evolution and the Meanings of Life (Simon & Schuster, 1995).

13. цитируется по: Лайл Запато, «Цитаты лорда Кельвина», 2008, http://zapatopi.net/kelvin/quotes/.

14. Чарльз Дарвин, On the Origin of Species by Means of Natural Selection; or, The Preservation of Favoured Races in the Struggle for Life, 1st ed. (London: John Murray, 1859), http://darwin-online.org.uk/content/frameset?viewtype=text&itemID=F373&pageseq=1; Чарльз Дарвин, The Descent of Man, and Selection in Relation to Sex, 2nd ed. (London: John Murray, 1874), http://darwin-online.org.uk/content/frameset?itemID=F944&viewtype=text&pageseq=1.

15. Уильямс, Adaptation and Natural Selection.

16. Карл Саган, The Demon-Haunted World: Science as a Candle in the Dark, 1st ed. (New York: Random House, 1995).

17. Кевин Браун, Reflections On Relativity (Raleigh, NC: printed by author, 2011), 405–414, http://www.mathpages.com/rr/rrtoc.htm.

18. Там же, 405–414.

19. Стивен Торнтон, «Карл Поппер», в The Stanford Encyclopedia of Philosophy, Winter 2002, под ред. Эдварда Н. Залты (Stanford University), http://plato.stanford.edu/archives/win2002/entries/popper/.

20. Джон Баэс, «Индекс фричества», 1998, http://math.ucr.edu/home/baez/crackpot.html.

257. Не ради (одного лишь) счастья

258. Фальшивый эгоизм

259. Фальшивая мораль

260. Фальшивые функции полезности

261. Ошибка оторванного рычага

262. Мечты о проектировании ИИ

263. Пространство проектирования разумов вообще

V. Теория ценностей

264. Где рекурсивное обоснование достигает дна

265. Моя разновидность рефлексии

266. Универсально убедительных аргументов не существует

267. Созданные уже в движении

268. Раскладывание камешков по правильным кучкам

269. Двухместные и одноместные слова

270. Что бы вы делали