Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Здесь кроется весьма прозрачный подтекст, касающийся Недружественного ИИ.

Но этот вывод можно обобщить: в этом и заключается проблема оптимистичных рассуждений в целом. Что такое оптимизм? Это ранжирование возможных вариантов по вашей шкале предпочтений, выбор исхода, стоящего на ней высоко, который в итоге каким-то образом и становится вашим прогнозом. То, какие хитроумные обоснования рождались по пути, вероятно, далеко не так важно, как хотелось бы верить; взгляните на историю рассуждений: перед нами типичный «оптимизм на входе, оптимизм на выходе». Но Природа — или любой другой обсуждаемый процесс — вовсе не выбирает на самом деле, на причинном уровне, между исходами, ранжируя их по вашей шкале предпочтений и отбирая наилучшие. В результате мозг не синхронизируется со средой, а прогноз не совпадает с реальностью.

*

1. Уэйд, «Групповой отбор в лабораторных популяциях Tribolium».

152. Утраченные цели.

То ли в детском саду, то ли в первом классе меня впервые попросили помолиться, дав транслитерацию молитвы на иврите. Я спросил, что означают эти слова. Мне ответили, что пока я молюсь на иврите, знать значение слов не обязательно — молитва всё равно сработает.

Это стало началом моего разрыва с иудаизмом.

Пока вы это читаете, какой-нибудь студент сидит в университетской аудитории и прилежно учит материал, который никогда не собирается использовать и который сам по себе ему совершенно не интересен. Он хочет высокооплачиваемую работу, а для неё нужна бумажка, а для бумажки нужна степень магистра, а для степени магистра нужен бакалавриат, а университет, выдающий диплом бакалавра, требует для выпуска прослушать курс по схемам вязания двенадцатого века. Поэтому они прилежно учатся, собираясь забыть всё в ту же секунду, когда сдадут финальный экзамен, но всё равно серьёзно трудятся, потому что хотят получить эту бумажку.

Возможно, вы понимали, что всё это безумие, но держу пари, всё равно так делали. У вас ведь не было выбора? Недавнее исследование здесь, в Районе залива, показало, что 80% учителей начальных классов (с подготовительного по пятый) тратят на естественные науки меньше часа в неделю, а 16% заявили, что вообще не уделяют им времени. Почему? Насколько я понимаю, непосредственная причина — закон «Ни одного отстающего ребенка» (No Child Left Behind) и аналогичные законодательные акты. Практически всё учебное время теперь уходит на подготовку к тестам, установленным на уровне штата или федерации. Мне помнится (хотя источник я найти не могу), что в одной школе только сдача обязательных тестов занимала 40% учебного времени.

Старая советская бюрократия славилась тем, что видимость для неё была важнее реальности. Одна обувная фабрика перевыполнила план, нашив кучу крошечных детских ботинок. Другая обувная фабрика отчиталась о раскроенной, но не сшитой коже как о «готовой обуви». Вышестоящие чиновники не горели желанием копать слишком глубоко, ведь им тоже хотелось отчитаться о перевыполнении плана. Всё это невероятно помогло товарищам, у которых отмерзали ноги.

Сейчас в нескольких источниках высказывается предположение, что действительно большинство опубликованных результатов медицинских исследований, несмотря на «статистическую значимость при p < 0,05», не соответствуют действительности. Но пока p < 0,05 остается порогом для публикации, с какой стати кому-то придерживаться более строгих стандартов, если это требует более крупных грантов для увеличения экспериментальных групп и снижает вероятность публикации? Ведь все знают, что весь смысл науки — в публикации пачек статей, точно так же как весь смысл университета — в печати определенных кусков пергамента, а весь смысл школы — в сдаче обязательных тестов, гарантирующих годовой бюджет. Не вы устанавливаете правила игры, и если вы попытаетесь играть по другим правилам, то просто проиграете.

(Хотя по какой-то причине физические журналы требуют порога p < 0,0001. Будто они видят какую-то иную цель своего существования, помимо публикации статей по физике.)

В супермаркете есть шоколад; добраться до супермаркета можно на машине, а поездка на машине требует, чтобы вы находились внутри, что означает необходимость открыть дверь машины, для чего нужны ключи. Если окажется, что в супермаркете нет шоколада, вы не станете стоять и то открывать, то захлопывать дверь машины просто потому, что дверь всё ещё нужно открыть. Я редко замечаю, чтобы люди теряли из виду смысл планов, которые разработали сами.

Другое дело, когда стимулы должны проходить через крупные организации — или, что ещё хуже, множество различных организаций и групп интересов, часть из которых государственные. В таких случаях можно наблюдать поведение, которое сочли бы абсолютным безумием, исходи оно от одного человека. Кому-то платят каждый раз, когда он открывает дверь машины, потому что это поддается измерению; и этому человеку плевать, заплатят ли водителю за прибытие в супермаркет, не говоря уже о том, купит ли покупатель шоколад и будет ли счастлив или голоден тот, кто должен его съесть.

С байесовской точки зрения подцели — это эпифеномены функций условной вероятности. Ожидаемой полезности не существует без самой полезности. Насколько глупо думать, будто инструментальная ценность может зажить собственной математической жизнью, оставив терминальную ценность далеко позади? С позиций теории принятия решений такое поведение никак нельзя назвать разумным.

Но посмотрите на закон «Ни одного отстающего ребенка». Политики хотят показать, будто они что-то делают с проблемами в образовании; политикам нужно выглядеть занятыми в глазах избирателей прямо в этом году, а не через пятнадцать лет, когда дети пойдут искать работу. Политики — не потребители образования. Бюрократы должны демонстрировать прогресс, а значит, их интересует только тот прогресс, который можно измерить в этом году. Не они в итоге останутся без элементарных научных знаний. Издатели, заказывающие учебники, и комитеты, закупающие их, не сидят в классах, изнывая от смертной скуки.

Настоящие потребители знаний — дети, которые не могут платить, не могут голосовать, не могут заседать в комитетах. Их родители заботятся о них, но сами на уроках не сидят; они могут призывать политиков к ответу лишь по внешней картинке того, насколько те «суровы в вопросах образования». Сами политики слишком заняты перевыборами, чтобы изучать все данные; им приходится полагаться на внешнюю видимость того, что бюрократы заняты делом и заказывают исследования — это может и не помочь ни одному ребенку, зато позволяет политикам выглядеть заботливыми. Бюрократы сами не собираются пользоваться учебниками, поэтому им плевать, насколько те отвратительны для чтения, лишь бы процесс их закупки выглядел пристойно