Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Эта заключительная книга «Рациональности: от ИИ до зомби», — не столько подведение итогов, сколько призыв к действию. В соответствии с ролью книги «Становясь сильнее» как отправной точки для дальнейших изысканий, в заключение я приведу список ресурсов, с помощью которых читатель сможет выйти за рамки этих цепочек и глубже разобраться в байесианстве.

Сформулированное в этом тексте определение нормативной рациональности через байесовскую теорию вероятностей и теорию принятия решений является общепринятым в когнитивистике. Для знакомства с подходом на основе эвристик и когнитивных искажений см. работу Барона «Мышление и принятие решений»1. Общее введение в эту область можно найти в «Оксфордском руководстве по мышлению и рассуждению»2.

Аргументы касательно философии рациональности, приводимые на этих страницах, более спорны. Юдковский, например, утверждает, что рациональный агент должен выбирать одну коробку в задаче Ньюкома — такую позицию разделяет лишь меньшинство специалистов по теории принятия решений3. (Популярное описание задачи Ньюкома см. у Холта4.) Гэри Дрешер в своей книге «Хорошее и реальное» независимо приходит ко многим из тех же выводов в области философии науки и теории принятия решений, что и Юдковский5. Таким образом, его книга служит отличным полноформатным изложением основного философского содержания «Рациональности: от ИИ до зомби».

Талботт выделяет несколько подходов в байесовской эпистемологии, включая позицию Э. Т. Джейнса о том, что не все возможные априорные вероятности одинаково разумны6,7. Как и Джейнс, Юдковский стремится дополнить байесовский критерий оптимальности для обновления убеждений критерием оптимальности для априорных вероятностей. Это сближает Юдковского с исследователями, которые надеются лучше понять искусственный интеллект общего назначения через усовершенствованную теорию идеального мышления, такими как Маркус Хуттер8. Более широкое обсуждение философских попыток натурализовать теорию познания см. у Фельдмана9.

«Байесианство» часто противопоставляют «частотному подходу». Некоторые сторонники частотного подхода критикуют байесианцев за то, что те трактуют вероятности как субъективные состояния уверенности, а не как объективные частоты событий. Крушке и Юдковский возражают, что частотный подход еще более «субъективен», чем байесианство, поскольку приписывание вероятностей в рамках частотного подхода зависит от намерений экспериментатора10.

Важно не путать это философское разногласие с различием между байесовскими и частотными методами анализа данных: оба они могут быть полезны при правильном применении. Начиная с 1980-х годов использовать байесовские статистические инструменты стало значительно дешевле, а их информативность, интуитивность и универсальность получили более широкое признание, что привело к «байесовским революциям» во многих науках. Тем не менее традиционные частотные методы остаются более популярными, а в некоторых контекстах они все еще явно превосходят байесовские подходы. Книга Крушке «Проведение байесовского анализа данных» — это увлекательное и доступное введение в эту тему11.

В свете свидетельств того, что подготовка в области статистики — а также в некоторых других областях, таких как психология, — улучшает навыки рассуждения за пределами учебной аудитории, статистическая грамотность имеет прямое отношение к проекту преодоления предвзятости. (Курсы по формальной логике и неформальным ошибкам рассуждения не доказали сопоставимой полезности.)12,13

Искусство в колыбели

Мы завершаем книгу тремя цепочками, посвященными индивидуальному и коллективному самосовершенствованию. «Становление Юдковского» предлагает последнюю подробную иллюстрацию динамики иррациональных убеждений, на этот раз фокусируясь на интеллектуальной биографии самого автора. В цепочке «Бросая вызов трудному» ставится вопрос о том, что требуется для решения по-настоящему трудной проблемы, включая требования, выходящие за рамки эпистемической рациональности. Наконец, «Ремесло и сообщество» обсуждает группы рациональности и групповую рациональность, поднимая следующие вопросы:

Можно ли научиться рациональности и можно ли ей обучить?

Если да, то насколько сильного улучшения можно достичь?

Как мы можем быть уверены, что наблюдаем реальный эффект от тренингов по рациональности и верно определяем его причину?

Какие нормы сообщества облегчили бы этот процесс самосовершенствования?

Можем ли мы эффективно сотрудничать при решении крупномасштабных проблем, не жертвуя свободой мысли и поведения?

И главное: чего здесь не хватает? Что должно войти в следующее поколение учебников по рациональности — тех, что придут на смену этому тексту, улучшат его стиль, проверят его предписания, дополнят его содержание и наметят совершенно новые направления?

Хотя написать эти эссе Юдковского побудили его собственные философские ошибки и профессиональные трудности в теории ИИ, получившийся материал оказался полезным для гораздо более широкой аудитории. Оригинальные посты в блоге дали толчок развитию Less Wrong — сообщества интеллектуалов и лайфхакеров, объединенных общим интересом к когнитивистике, компьютерным наукам и философии. Юдковский и другие авторы Less Wrong помогли заложить основы движения эффективного альтруизма — активную и смелую попытку выявить наиболее эффективные гуманитарные благотворительные организации и направления деятельности. Эти тексты также дали толчок к созданию Центра прикладной рациональности — некоммерческой организации, которая стремится переводить выводы науки о рациональности в практические методы самосовершенствования.

Я не знаю, что будет дальше — какие еще неординарные проекты или идеи почерпнут вдохновение на этих страницах. Мы, безусловно, не испытываем недостатка в глобальных вызовах, а искусство прикладной рациональности — вещь новая и еще полусформированная. Рационалистов немного, и многое еще остается несделанным.

Но куда бы вы ни направлялись дальше, читатель, — пусть вы достойно послужите своей цели.

*

1. Джонатан Барон, Thinking and Deciding (Cambridge University Press, 2007).

2. Кит Дж. Холиок и Роберт Дж. Моррисон, The Oxford Handbook of Thinking and Reasoning (Oxford University Press, 2013).

3. Бурже и Чалмерс, «What Do Philosophers Believe?»

4. Холт, «Thinking Inside the Boxes».

5. Гэри Л. Дрешер, Good and Real: Demystifying Paradoxes from Physics to Ethics (Cambridge, MA: MIT Press, 2006).

6. Уильям Талботт, «Bayesian Epistemology», в The Stanford Encyclopedia of Philosophy, Fall 2013, под ред. Эдварда Н. Залты.

7. Джейнс, Probability Theory.

8. Маркус Хуттер, Universal Artificial Intelligence: Sequential Decisions Based On Algorithmic Probability (Berlin: Springer, 2005), doi:10.1007/b138233.

9. Ричард Фельдман, «Naturalized Epistemology», в The Stanford Encyclopedia of Philosophy, Summer 2012, под ред. Эдварда Н. Залты.

10. Джон К. Крушке, «What to Believe: Bayesian Methods for Data Analysis», Trends in Cognitive Sciences 14, no. 7 (2010): 293–300.

11. Джон К. Крушке, Doing Bayesian Data Analysis, Second Edition: A Tutorial with R, JAGS, and Stan (Academic Press, 2014).

12. Джеффри Т. Фонг, Дэвид Х. Кранц и Ричард Э. Нисбетт, «The Effects of Statistical Training on Thinking about Everyday Problems», Cognitive Psychology 18, no. 3 (1986): 253–292, doi:10.1016/0010-0285(86)90001-0.

13. Пол Дж. Х. Шумейкер, «The Role of Statistical Knowledge in Gambling Decisions: Moment vs. Risk Dimension Approaches», Organizational Behavior and Human Performance 24, no. 1 (1979): 1–17.