Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Вы говорите: «Представьте, что мы создали очень умный ИИ», а вам отвечают: «Но разве в «Терминаторе» это не привело к ядерной войне?» Насколько я могу судить, это рассуждение — вплоть до интонации — абсолютно идентично словам того, кто мог бы сказать: «Но разве это не привело к ядерной войне на Альфе Центавра?» или «Разве это не привело к падению итальянского города-государства Пикколо в четырнадцатом веке?» В фильм никто не верит, но он легкодоступен в памяти. Его воспринимают не как пророчество, а как наглядный исторический пример. Повторится ли история? Кто знает?

В недавней дискуссии о взрыве интеллекта кто-то упомянул, что Виндж, похоже, не считал, что нейрокомпьютерные интерфейсы значительно повысят интеллект, и сослался на роман «Затерянные в реальном времени» и Тунджа Блюменталя — самого продвинутого из путешественников, который, однако, не казался таким уж всемогущим. Я возмущенно возразил: «Но ведь Тундж потерял большую часть своего оборудования! Он был калекой!» А потом я мысленно споткнулся и подумал: «Что за чертовщину я несу?»

Разве этот вопрос не следует обсуждать по существу, независимо от того, какими Виндж изобразил своих персонажей? Тундж Блюменталь не «калека», он вымышлен. Я мог бы сказать: «Виндж решил изобразить Тюнча калекой по причинам, которые могли быть, а могли и не быть связаны с его собственными точными прогнозами», и это придало бы его авторскому выбору соответствующий вес в качестве свидетельства. Но я не могу сказать: «Тундж был калекой». Никакого «был» для Тунджа Блюменталя не существует.

Я намеренно оставил ошибку, которую допустил в первом черновике начала этого эссе: «Другие защищают использование этого примера, не соглашаясь с тем, что это логическая ошибка». Но ведь «Матрица» — это не пример!

Схожий изъян — логическая ошибка аргументации на основе воображаемых свидетельств: «Ну, если бы ты действительно дошел до конца радуги, ты бы нашел там горшок с золотом — что как раз и доказывает мою правоту!» (Обновление убеждений на основе предсказанных, но не наблюдавшихся свидетельств — это математическое зеркальное отражение ретроспективного искажения.)

У мозга есть множество механизмов обобщения наблюдений, а не только эвристика доступности. Вы видите трех зебр, у вас формируется категория «зебра», и эта категория воплощает в себе автоматическое перцептивное умозаключение. Похожие на лошадей существа в черную и белую полоску классифицируются как «зебры», следовательно, они быстры и вкусны; ожидается, что они будут похожи на других наблюдаемых зебр.

И вот люди видят (на экране) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с нейрокомпьютерными интерфейсами относятся к классу «боргов» и будут похожи на других известных им боргов: холодные, лишенные сострадания, одетые в черную кожу, шагающие тяжелой механической поступью. Журналисты не верят, что в будущем действительно появятся борги, они не считают «Звездный путь» пророчеством. Но когда кто-то заговаривает о нейрокомпьютерных интерфейсах, они думают: «Будет ли будущее содержать боргов?» А не: «С чего я взял, что компьютерная телепатия делает людей менее добрыми?» Не: «Я никогда не видел борга, как и никто другой». И не: «Я формирую расовый стереотип на основе буквально нулевых доказательств».

Как сказал Джордж Оруэлл о клише:2

Прежде всего необходимо, чтобы смысл выбирал слово, а не наоборот... Когда думаешь о чем-то абстрактном, больше склоняешься к тому, чтобы с самого начала использовать слова, и, если не сделать сознательного усилия, существующий диалект хлынет потоком и сделает за вас всю работу, размыв или даже полностью изменив ваш смысл.

И все же, по моей оценке, самый пагубный аспект использования чужого воображения заключается в том, что оно мешает людям использовать свое собственное. Как сказал Роберт Пирсиг:3

Она зашла в тупик, потому что пыталась повторить в своей работе то, что уже когда-то слышала, — точно так же, как в первый день он пытался повторить то, что заранее решил сказать. Она не могла придумать, что написать о Бозмене, потому что не могла вспомнить ничего из услышанного, что стоило бы повторить. Она странным образом не осознавала, что может сама смотреть на вещи и видеть их по-новому, прямо по ходу письма, не оглядываясь на то, что уже было сказано прежде.

Всплывающие в памяти вымыслы врываются и думают за вас; они подменяют собой видение — самое смертоносное из всех удобств.

*

1. Ник Бостром, «Экзистенциальные риски: анализ сценариев вымирания человечества и сопутствующих опасностей», Journal of Evolution and Technology 9 (2002), http://www.jetpress.org/volume9/risks.html.

2. Оруэлл, «Политика и английский язык».

3. Пирсиг, «Дзен и искусство ухода за мотоциклом».

95. Добродетель узости.

То, что верно для одного яблока, может быть неверно для другого; а потому о конкретном яблоке можно сказать больше, чем обо всех яблоках мира.

— Двенадцать добродетелей рациональности

В своей профессии люди отлично понимают важность узости; автомеханик знает разницу между карбюратором и радиатором и не думает о них просто как об «автозапчастях». Охотник-собиратель видит разницу между львом и пантерой. Уборщик не станет мыть пол средством для мытья окон, даже если для непосвященного бутылки выглядят одинаково.

Вне своей профессии люди часто совершают ошибку, пытаясь расширить значение слова как можно сильнее, чтобы охватить им как можно большую территорию. Разве не почетнее, не мудрее, не внушительнее говорить обо всех яблоках в мире? Насколько же величественнее должно быть объяснить человеческое мышление в целом, не отвлекаясь на мелкие вопросы вроде того, как люди изобретают способы сборки кубика Рубика. И в самом деле, кажется, будто рассматривать конкретные вопросы вообще нет никакой необходимости; разве общая теория сама по себе не является достаточно ценным достижением?

Любознательный человек обычно поднимает один камешек из миллиона лежащих на берегу и замечает в нем что-то новое, интересное, особенное. Вы называете такие камешки «алмазами» и задаетесь вопросом, что же в них уникального — какие внутренние свойства объединяют их, помимо блеска, который вы заметили первым делом. И тут приходит кто-то другой и говорит: «А почему бы не назвать алмазом еще и вот этот камешек? И этот, и вот этот?» Он полон энтузиазма и желает добра. Ведь называть одни камешки «алмазами», а другие нет кажется делом недемократичным, исключающим, элитарным и нецелостным. Это кажется... узколобым... если позволите так выразиться. Вряд ли открытым, вряд ли