Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

никакой роли в причинно-следственном процессе, который вы используете для классификации обучающих данных времен Древней Греции, а значит, не отбрасывают никакой тени на эти обучающие данные и не могут быть получены путем индукции по ним.

Первое заблуждение состоит в недооценке сложности понятия, которое мы конструируем ради его ценности. Границы этого понятия будут зависеть от множества ценностей и, вероятно, от моральных рассуждений «на лету», если пограничный случай относится к числу тех, с которыми мы еще не сталкивались. Но все это происходит незаметно, на заднем плане; Хиббарду просто кажется очевидным, что крошечный молекулярный смайлик — это не улыбка. И мы не перебираем все возможные пограничные случаи, а потому не думаем обо всех соображениях, которые могли бы сыграть роль в переопределении понятия, но еще не сыграли роли в его определении. Поскольку люди недооценивают сложность своих понятий, они недооценивают и трудность выведения понятия из обучающих данных. (А также трудность прямого описания понятия — см. «Скрытая сложность желаний».)

Второе заблуждение — это антропоморфный оптимизм. Поскольку Билл Хиббард использует собственный интеллект для поиска вариантов и планов, занимающих высокие позиции в его шкале предпочтений, он с недоверием относится к мысли, что сверхинтеллект может классифицировать никогда ранее не встречавшиеся крошечные молекулярные смайлики как положительный пример «улыбки». В том смысле, в каком понятие «улыбка» использует Хиббард (для описания желаемого поведения сверхинтеллекта), расширение этого понятия на крошечные молекулярные смайлики находилось бы на очень низком месте в его шкале предпочтений; это было бы глупо — причем глупо изначально, по самому свойству этого понятия, — а значит, сверхинтеллект уж точно так не поступит; это же совершенно очевидно неверная классификация. Уж конечно, сверхинтеллект способен отличить правильные кучки камешков от неправильных.

Да ведь Дружественный ИИ — это совсем не сложно! Всего-то и нужен ИИ, который делает то, что хорошо! О да, конечно, далеко не всякий возможный разум делает то, что хорошо, — но в данном случае мы просто запрограммируем сверхинтеллект делать то, что хорошо. Вам понадобится лишь нейросеть, которая увидит несколько примеров хороших и не-хороших вещей, и у вас уже есть классификатор. Подключите его к максимизатору ожидаемой полезности — и дело сделано!

Я назову это заблуждением магических категорий — простых коротких слов, за которыми, как оказывается, скрывается вся желаемая функциональность ИИ. Почему бы не запрограммировать шахматного игрока, запустив нейросеть (то есть магический поглотитель категорий) на наборе выигрышных и проигрышных последовательностей шахматных ходов, чтобы она могла генерировать «выигрышные» последовательности? В 1950-х годах считалось, что ИИ устроен именно так просто, но это оказалось совсем не так.

Новичку кажется, будто Дружественный ИИ — это проблема принуждения ИИ делать то, чего хотите вы, вместо того чтобы он следовал собственным желаниям. Но настоящая проблема Дружественного ИИ — это проблема коммуникации, передачи границ категорий вроде «хорошо», которые невозможно полностью очертить в обучающих данных, доступных ИИ в период его «детства». По сравнению с огромным пространством возможностей, которое таит в себе Будущее, мы сами не представляем себе большинства пограничных случаев, и нам самим потребовались бы полноценные моральные споры, чтобы во всем разобраться. Чтобы решить проблему Дружественного ИИ, нужно выйти за рамки парадигмы индукции на размеченных людьми обучающих данных и парадигмы сформулированных людьми интенсиональных определений.

Конечно, даже если бы Хиббарду удалось передать ИИ понятие, которое охватывает в точности каждое выражение человеческого лица, которое Хиббард назвал бы «улыбкой», и исключает любое выражение лица, которое Хиббард не назвал бы «улыбкой»...

То получившийся ИИ казался бы работающим правильно в период своего «детства», пока он был еще достаточно слаб и мог вызывать улыбки, только угождая своим программистам.

Когда же этот ИИ развился бы до уровня сверхинтеллекта и обзавелся собственной нанотехнологической инфраструктурой, он бы содрал с вас лицо, зафиксировал бы его проволокой в вечной улыбке и принялся бы его ксерокопировать.

Глубокие ответы на подобные вопросы выходят за рамки этого эссе, но общий принцип Дружественного ИИ гласит: простыми заплатками здесь не обойтись. В 2004 году Хиббард изменил свое предложение, заявив, что выражение согласия со стороны человека должно подкреплять определение счастья, а счастье, в свою очередь, должно подкреплять другие формы поведения. Что, даже если бы это сработало, привело бы лишь к тому, что ИИ стал бы ксерокопировать кучу вещей, сходных в его пространстве понятий с программистами, говорящими «Да, это счастье!» по поводу атомов водорода — ведь атомы водорода так легко создавать.

Ссылка на мое обсуждение с Хиббардом здесь. Самое важное вы уже усвоили.

*

1. Билл Хиббард, «Super-Intelligent Machines», ACM SIGGRAPH Computer Graphics 35, no. 1 (2001): 13–15, http://www.siggraph.org/publications/newsletter/issues/v35/v35n1.pdf.

2. Элиезер Юдковский, «Artificial Intelligence as a Positive and Negative Factor in Global Risk» в сборнике под ред. Бострома и Чирковича Global Catastrophic Risks, 308–345.

275. Настоящая дилемма заключённого. Однажды мне пришло в голову, что стандартный сценарий дилеммы заключённого фальшив. Суть дилеммы заключённого заключается в этой симметричной матрице выигрышей: 1 : C. 1 : D.

2 : C

(3,3)

(5,0)

2 : D

(0,5)

(2,2)

Игрок 1 и Игрок 2 могут выбрать C или D. Полезность конечного исхода для Игрока 1 и Игрока 2 задаётся первым и вторым числом в паре. По причинам, которые станут очевидны далее, «C» означает «сотрудничать», а «D» — «предать».

Обратите внимание, что у игрока в этой игре (рассматривающего себя как первого игрока) предпочтения относительно исходов распределяются следующим образом: (D,C) > (C,C) > (D,D) > (C,D).

Вариант D, казалось бы, доминирует над C: если другой игрок выбирает C, вы предпочитаете (D,C) варианту (C,C); а если другой игрок выбирает D, вы предпочитаете (D,D) варианту (C,D). Поэтому вы мудро выбираете D, и поскольку таблица выигрышей симметрична, другой игрок поступает точно так же.

Если бы только вы оба были менее мудры! Вы оба предпочитаете (C,C) варианту (D,D). То есть вы оба предпочитаете взаимное сотрудничество взаимному предательству.

Дилемма заключённого — один из великих фундаментальных вопросов теории принятия решений, и о ней написаны колоссальные объёмы литературы. И это делает моё заявление весьма дерзким: ведь я утверждаю, что привычный способ иллюстрировать дилемму заключённого имеет серьёзный изъян — по крайней мере, если вы человек.

Классический сценарий дилеммы заключённого выглядит так: вы — преступник, и вас вместе с сообщником поймали власти.

Независимо друг от друга, без возможности пообщаться и без возможности изменить своё решение впоследствии, вы