Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

в половине случаев? «О, вы имеете в виду фильмы про Терминатора / «Матрицу» / роботов Азимова!». И я отвечаю: «Ну, нет, не совсем. Я стараюсь избегать логической ошибки обобщения на основе вымышленных свидетельств». Кто-то понимает сразу и смеется. Другие начинают защищать свой пример, не соглашаясь с тем, что это ошибка.

Что плохого в том, чтобы использовать фильмы или романы в качестве отправной точки для дискуссии? В конце концов, никто ведь не утверждает, что это правда. Где же здесь ложь, в чем грех рационалиста? Научная фантастика — это попытка автора визуализировать будущее; почему бы не воспользоваться интеллектуальной работой, которую уже проделали за нас, вместо того чтобы начинать все сначала?

Не всякий неверный шаг в точном танце рациональности заключается в слепой вере в ложь; существуют и более тонкие способы ошибиться.

Для начала давайте отбросим мысль, будто научная фантастика — это полноценная рациональная попытка спрогнозировать будущее. Даже самые добросовестные писатели-фантасты — это прежде всего рассказчики; законы повествования отличаются от законов прогнозирования. Как отмечает Ник Бостром:1

Когда вы в последний раз видели фильм о том, как человечество внезапно вымирает (без предупреждения и не сменяясь какой-то другой цивилизацией)? Хотя этот сценарий может быть гораздо более вероятным, чем сценарий, в котором человеческие герои успешно отражают вторжение монстров или роботов-воинов, смотреть его было бы не слишком интересно.

Итак, в художественных произведениях существуют определенные искажения. Но просто пытаться скорректировать эти конкретные искажения недостаточно. Любая история — это никогда не рациональная попытка анализа, даже у самых добросовестных писателей-фантастов, поскольку в историях не используются распределения вероятностей. Проиллюстрирую это следующим образом:

Боб Меркельтхад осторожно проскользнул в дверь инопланетного космического корабля, поглядывая направо, а затем налево (или налево, а затем направо), чтобы проверить, не осталось ли там еще ужасных Космических Монстров. У его бедра висело единственное оружие, оказавшееся эффективным против Космических Монстров: Космический Меч из чистого титана с вероятностью 30%, обычный железный лом с вероятностью 20% и мерцающий черный диск, найденный в дымящихся руинах Стоунхенджа, с вероятностью 45% — оставшиеся же 5% распределялись между слишком многочисленными мелкими исходами, чтобы перечислять их здесь.

Меркельтхад (хотя существует значительная вероятность того, что вместо него там была Сьюзан Уиффлфуфер) сделал два шага вперед или один шаг назад, когда тишину черного шлюза разорвал оглушительный рев! Или тихий фоновый гул белого шлюза! Хотя Амфер и Вуфи (1997) утверждают, что в этот момент Меркельтхада пожирают, Спэклбэкл (2003) указывает, что...

Персонажи могут пребывать в неведении, но автор не может произнести три волшебных слова: «Я не знаю». Главный герой должен провести одну-единственную линию сквозь будущее, изобилующее деталями, которые придают истории плоть — от подобающе футуристических взглядов Уиффлфуфер на феминизм вплоть до цвета ее сережек.

Затем все эти обременительные детали и сомнительные допущения упаковываются воедино и снабжаются кратким ярлыком, создавая иллюзию, что они представляют собой единый пакет.

В задачах с большим пространством ответов самая большая сложность — не проверить правильный ответ, а для начала просто найти его в этом пространстве. Если кто-то с порога спрашивает, засунет ли нас ИИ в капсулы, как в «Матрице», он сразу перескакивает к 100-битному утверждению, не имея соответствующих 98 бит свидетельств, позволяющих поместить его в пространство ответов как возможность, заслуживающую явного рассмотрения. После первых 98 бит потребовалось бы лишь немного дополнительных свидетельств, чтобы превратить эту возможность в почти полную уверенность — и это кое-что говорит нам о том, где именно выполняется почти вся работа.

«Предварительный» шаг по выявлению возможностей, заслуживающих явного рассмотрения, включает в себя такие действия, как: взвешивание того, что вы знаете и чего не знаете, что вы можете и чего не можете предсказать, сознательные усилия по избеганию искажения абсурдности и расширению доверительных интервалов, размышления о том, какие вопросы действительно важны, попытки сделать поправку на возможных «Черных лебедей» и обдумать (ранее) неизвестные неизвестные. Перескок сразу к вопросу «Матрица: да или нет?» полностью все это пропускает.

Любой профессиональный переговорщик знает: контролировать условия дебатов — значит практически контролировать их исход. Если вы начинаете с мыслей о «Матрице», в воображении возникают марширующие армии роботов, побеждающие людей после долгой борьбы, а вовсе не сверхинтеллект, щелкающий нанотехнологическими пальцами. Это смещает фокус на противостояние по принципу «мы против них», направляя внимание на вопросы вроде «Кто победит?», «Кто должен победить?» и «Будет ли ИИ действительно таким?». Это создает общую развлекательную атмосферу в духе «Каково ваше потрясающее видение будущего?».

В гулкой пустоте бесследно теряются: размышления о том, что у «искусственного интеллекта» может быть множество вариантов устройства разума; зависимость будущего от начальных условий; могущество разума, превосходящего человеческий, и аргументы в пользу его непредсказуемости; то, что люди могут отнестись ко всему этому серьезно и попытаться что-то предпринять.

Если бы какой-нибудь коварный отравитель дискуссий решил, что для достижения нужного ему исхода лучше всего заставить спорящих начать с опровержения «Терминатора», он отлично справился бы с задачей смещения рамок. Дискутируя о контроле над оружием, представитель Национальной стрелковой ассоциации не хочет, чтобы его представляли как «фанатика оружия», а противник оружия не желает быть представленным как «сторонник разоружения жертв». Почему же вы позволяете голливудским сценаристам проделывать аналогичное смещение рамок, пусть даже случайно?

Журналисты не говорят мне: «Будущее будет как в «2001»». Но они спрашивают: «Будет ли будущее похожим на «2001» или на «Искусственный разум»?» Это точно такое же масштабное искажение рамок дискуссии, как и вопрос: «Должны ли мы сократить пособия для ветеранов-инвалидов или поднять налоги для богатых?»

В среде обитания наших предков не было движущихся картинок; то, что вы видели своими глазами, было правдой. Мимолетный взгляд на одно-единственное слово может вызвать прайминг и сделать созвучные мысли более доступными, что, как доказано, оказывает сильное влияние на оценку вероятностей. Как вы думаете, какой хаос может посеять в ваших суждениях двухчасовой фильм? Избавиться от этого ущерба даже с помощью намеренной концентрации будет достаточно трудно — зачем же добровольно впускать вампира в свой дом? В шахматах или го каждый потраченный впустую ход — это потеря; в рациональности любое не основанное на свидетельствах влияние (в среднем) ведет к энтропии.

Удается ли кинозрителям отбросить веру в то, что они видят? Насколько я могу судить, мало кто из них ведет себя так, будто напрямую наблюдал будущее Земли. Люди, смотревшие фильмы о «Терминаторе», не прятались в убежищах 29 августа 1997 года. Но те,