Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

назвал «догмой о Призраке в Машине».1 Однако современные ученые и философы, отвергшие дуализм, не обязательно заменили его более точной предсказательной моделью работы разума. Фактически наши цели и желания все еще функционируют подобно свободно парящим призракам, словно некий магистериум, отрезанный от остальных наших научных знаний. Мы можем рассуждать о «рациональности», «искажениях» и о том, «как изменить свое мнение», но если эти идеи остаются неточными и не ограниченными никакой всеобъемлющей теорией, наш наукообразный язык не убережет нас от тех же ошибок, которые совершают люди, чьи теоретические допущения включают духов и скрытые сущности.

Интересно, что таинственность и мистификация вокруг разума мешают нам разглядеть не только людей. Они также распространяются на системы, которые кажутся разумными или целенаправленными в эволюционной биологии и искусственном интеллекте (ИИ). Возможно, если мы не можем легко понять, кто мы такие, глядя на себя, мы сможем узнать больше, используя в качестве зеркала процессы, очевидно нечеловеческие.

Здесь есть много призраков, у которых можно поучиться — призраков прошлого, настоящего и будущего. И эти иллюзии — реальные когнитивные события, реальные феномены, которые мы можем изучать и объяснять. Если кажется, что в машине есть призрак, то эта видимость сама по себе является скрытой работой машины.

Первая цепочка книги «Машина в призраке», «Простая математика эволюции», призвана показать диссонанс и расхождение между нашей наследственной историей, нашей сегодняшней биологией и нашими конечными устремлениями. Для этого потребуется копнуть глубже, чем это обычно делается во введениях в эволюцию для небиологов, которые зачастую ограничиваются лишь поверхностными особенностями естественного отбора.

Третья цепочка, «Руководство по словам для человека», обсуждает фундаментальную связь между познанием и формированием понятий. За ней следует более длинное эссе, представляющее собой введение в байесовский вывод.

Связывая эти темы между собой, цепочка «Хрупкие цели» абстрагируется от человеческого познания и эволюции, переходя к концепции разума и целенаправленных систем в самом общем виде. Эти эссе также служат второстепенной цели — объяснить общий подход автора к философии и науке о рациональности, который во многом опирается на его работу в области ИИ.

Воссоздание интеллекта

Юдковский — специалист по теории принятия решений и математик, занимающийся фундаментальными проблемами универсального искусственного интеллекта (AGI), то есть теоретическими исследованиями систем решения задач общего назначения. Работа Юдковского в области ИИ стала главной движущей силой его исследований психологии человеческой рациональности, о чем он сам упомянул в своем самом первом посте в блоге Overcoming Bias под названием «Боевое искусство рациональности»:

То понимание рациональности, которым я обладаю, я приобрел в процессе борьбы с проблемой универсального искусственного интеллекта (задача, для успешного решения которой потребовалось бы такое мастерство в рациональности, которого хватило бы, чтобы собрать полностью работающего рационалиста из зубочисток и резинок). В большинстве отношений проблема ИИ несоизмеримо сложнее, чем личное искусство рациональности, но в некотором смысле она даже проще. В боевом искусстве разума нам необходимо приобрести процедурный навык в реальном времени дергать за нужные рычаги в нужное время на огромной, уже существующей мыслящей машине, внутренности которой не подлежат модификации конечным пользователем. Некоторые её механизмы оптимизированы под давлением эволюционного отбора, которое напрямую противоречит заявленным нами целям их использования. Мы осознанно решаем, что хотим искать только истину, однако наш мозг на аппаратном уровне поддерживает рационализацию лжи. [ . . . ]

Попытка синтезировать личное искусство рациональности, опираясь на науку о рациональности, может оказаться довольно неуклюжей: это напоминает попытку создать боевое искусство на основе абстрактной теории физики, теории игр и анатомии человека. Но люди не слепы в своей рефлексии; у нас действительно есть врожденный инстинкт самонаблюдения. Внутреннее око не слепо, но видит нечетко, с систематическими искажениями. Поэтому нам необходимо применить научный подход к нашей интуиции, использовать абстрактные знания для корректировки мысленных движений и развития метакогнитивных навыков. Мы не пишем компьютерную программу, заставляющую марионетку на ниточках выполнять приемы боевых искусств; двигать приходится нашими собственными ментальными конечностями. А значит, мы должны связать теорию с практикой. Мы должны осознать, что эта наука значит для нас самих, для нашей повседневной внутренней жизни.

Насколько я понимаю, с точки зрения Юдковского, говорить о человеческой рациональности, не сказав ничего интересного об ИИ, примерно так же трудно, как говорить об ИИ, не сказав ничего интересного о рациональности.

В долгосрочной перспективе Юдковский предсказывает, что ИИ превзойдет человека в результате «взрыва интеллекта» — сценария, при котором самомодифицирующийся ИИ совершенствует собственную способность эффективно перепроектировать себя, запуская стремительную череду последующих самоулучшений. Вместо термина «взрыв интеллекта» иногда используется понятие «технологическая сингулярность»; до января 2013 года институт MIRI назывался «Институтом сингулярности искусственного интеллекта» (Singularity Institute for Artificial Intelligence) и ежегодно проводил Саммит Сингулярности. С тех пор Юдковский предпочитает использовать более старый термин И. Дж. Гуда — «взрыв интеллекта», чтобы отделить свои взгляды от других футуристических прогнозов, таких как тезис Рэя Курцвейла об экспоненциальном технологическом прогрессе.2

Технологии вроде ИИ, превосходящего человеческий разум, по всей видимости, приведут к масштабным общественным потрясениям — к лучшему или к худшему. Юдковский ввел термин «теория Дружественного ИИ» для обозначения исследований в области методов согласования предпочтений универсального искусственного интеллекта (AGI) с предпочтениями человека. На данный момент крайне мало известно о том, когда именно будет создано программное обеспечение общего интеллекта или какие подходы к безопасности окажутся эффективными в таком случае. Уверенно верифицировать и валидировать современный автономный ИИ уже сейчас может быть весьма непросто, а многие существующие методы вряд ли получится перенести на более интеллектуальные и адаптивные системы. Таким образом, «Дружественный ИИ» — это скорее пестрая коллекция базовых математических и философских вопросов, нежели четко определенный набор задач для программирования.

По состоянию на 2015 год взгляды Юдковского на будущее ИИ продолжают обсуждаться технологическими прогнозистами и исследователями ИИ как в промышленности, так и в академических кругах, которые пока не пришли к единому мнению. Книга Ника Бострома «Суперинтеллект» предлагает целостный обзор множества моральных и стратегических вопросов, возникающих в связи с созданием ИИ, превосходящего человеческий разум.3

Наиболее широко используемым учебником для общего знакомства с областью ИИ является книга Рассела и Норвига «Искусственный интеллект: современный подход».4 В главе, посвященной моральным и философским вопросам, которые поднимает ИИ, Рассел и Норвиг отмечают техническую сложность определения правильного поведения в высокоадаптивном ИИ:

[Юдковский] утверждает, что дружественность (стремление не причинять вреда людям) должна закладываться в проект с самого начала, однако разработчики должны понимать как то, что их собственные проекты могут быть несовершенными, так и то, что робот со временем будет учиться и развиваться. Таким образом, задача заключается