Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

На этот раз не было ни мантий, ни капюшонов, ни масок. От учеников ждали, что они станут друзьями и союзниками. И все знали, почему ты находишься в этом классе. Было бы бессмысленно притворяться, будто ты не в Заговоре.

Их сэнсэем был Джеффриссай, который, возможно, был лучшим в свою эпоху — для своей эпохи. Его учениками были либо самые многообещающие искатели знаний, либо те, в чьём формировании бейсуцай видели политическую выгоду.

Бреннан относился ко второй категории и прекрасно это понимал. И он без колебаний использовал имя своей Госпожи, чтобы открывать нужные двери. На пути к знанию следовало использовать любую доступную возможность; здесь это уважали.

— ...более тридцати лет, — говорил Джеффриссай. — Ни один из них этого не заметил: ни Эйнштейн, ни Шрёдингер, ни даже фон Нейман. — Он отвернулся от своего планшета и посмотрел на класс. — Я задаю вам вопрос: как они потерпели неудачу?

Ученики обменялись быстрыми взглядами — шёл расчёт взаимных рисков между осторожными и просто озадаченными. Было известно, что Джеффриссай любит играть в игры.

Наконец Хирива по прозвищу Чёрная подалась вперёд, негромко звякнув браслетами с выгравированными уравнениями на лодыжках. — Судя по названным вами годам, сэнсэй, это было спустя двести пятьдесят лет после Ньютона. Наверняка учёные той эпохи уже должны были постичь концепцию универсального закона.

— Знать универсальный закон тяготения, — подал голос со своего места ученик Тадзи, — это не то же самое, что понимать концепцию самого универсального закона. — Он был одним из многообещающих учеников, как и Хирива.

Хирива нахмурилась. — Нет... говорили, что Ньютона хвалили за открытие первого универсального закона. Ещё в его собственную эпоху. Так что это было известно. — Хирива замолчала. — Но самого Ньютона уже не было в живых. Был ли какой-то религиозный запрет на выдвижение новых универсальных законов? Они воздерживались из уважения к Ньютону или ждали, пока заговорит его призрак? Мне не совсем понятна мотивация науки Элд...

— Да уж, — пробормотал Тадзи со смешком в голосе, — тебе она действительно, совершенно не понятна.

Взгляд Джеффриссая был доброжелательным. — Хирива, дело не в религии, не в свинце в питьевой воде, у них не у всех был Альцгеймер, и они не сидели целыми днями за чтением веб-комиксов. Забудь этот список ужасов древних времён. Просто подумай в категориях когнитивных ошибок. В чём наука Элд могла мыслить неверно?

Хирива откинулась на спинку сиденья и вздохнула. — Сэнсэй, я правда не могу вообразить системный сбой, способный привести к такому.

— Это не была бы всего одна ошибка, — поправил её Тадзи. — Как говорится: ошибки не ходят поодиночке, они охотятся стаями.

— Но всё человечество? — удивилась Хирива. — Тридцать лет?

— Дело было не во всём человечестве, Хирива, — сказал Стирлин. Он выглядел старше остальных учеников и носил короткую бороду с проседью. — Возможно, лишь один из ста тысяч смог бы записать уравнение Шрёдингера по памяти. Так что это и было их первой и главной ошибкой — неспособность сконцентрировать свои силы.

— Избавь нас от пропаганды! — взгляд Джеффриссая внезапно стал яростным. — Вы здесь не для того, чтобы вербовать сторонников в Кооперативный заговор, господин политик! Не искажайте истину ради своей выгоды! Кажется, у вашего Заговора есть такое выражение: «сравнительное преимущество». Вы правда думаете, что призыв всего человечества — в том виде, в каком оно тогда существовало — к обсуждению квантовой физики хоть чем-то помог бы?

Стирлин даже не вздрогнул. — Возможно, и нет, сэнсэй, — спокойно ответил он. — Но если вы сравниваете ту эпоху с нынешней, этот фактор стоит учитывать.

Джеффриссай горизонтально повёл ладонью в воздухе — сделал жест «может быть», которым он обычно отметал аргументы верные, но не имеющие отношения к делу. — Это не то, что я назвал бы основной ошибкой. Для решения этой загадки не требовался миллиард физиков.

— Я могу представить себе более конкретные кошмары древности, — сказал Тадзи. — Тратить весь день на написание заявок на гранты. Преподавать студентам младших курсов, которые предпочли бы оказаться в любом другом месте. Необходимость публиковать по тридцать статей в год, чтобы получить постоянную должность...

— Но мы говорим не только о низкостатусных учёных, — заметила Инь с лёгкой дразнящей усмешкой. — Про Шрёдингера рассказывали, что он уединился на вилле на целый месяц со своей любовницей для вдохновения и вернулся оттуда с одноимённым уравнением. Мы считаем это знаменитым историческим триумфом нашей методологии. Некоторые физики Элд действительно понимали, как концентрировать мысленную энергию, и их статус вполне позволял им поступать так, если бы они захотели.

— Верно, — согласился Тадзи. — В конце концов, административное бремя — лишь общая помеха. Как и ответы вроде: «Они не были обучены теории вероятностей и не знали о когнитивных искажениях». Кажется, наш сэнсэй хочет услышать более конкретный ответ.

Джеффриссай ободряюще приподнял бровь. — Не отбрасывай ход своих мыслей так быстро, Тадзи, он начинает приближаться к сути. Какая система станет накладывать административное бремя на собственных людей?

— Система, которая не способна адекватно поддерживать своих людей, — ответил Стирлин. — Та, что не умеет ценить их труд.

— А-а, — протянул Джеффриссай. — Но есть один ученик, который пока не проронил ни слова. Бреннан?

Бреннан не вздрогнул. Он намеренно выдержал паузу — ровно такую, чтобы показать, что не напуган, — и затем произнёс: — Отсутствие прагматической мотивации, сэнсэй.

Джеффриссай слегка улыбнулся. — Поясни.

Какая система станет накладывать административное бремя на собственных людей? — спросил их сэнсэй. Другие ученики развивали свои собственные мысли. Бреннан же, державшийся в тени, мог уделить больше внимания тем немногим подсказкам, которые давал учитель. Статус новичка не всегда был недостатком — а его ещё задолго до того, как его приняли байесианцы, учили использовать любое доступное преимущество.

— Манхэттенский проект, — сказал Бреннан, — был запущен с конкретной технологической целью: создать оружие огромной силы в военное время. Но ошибка, которую наука Элд допустила в отношении квантовой физики, не имела непосредственных последствий для их технологий. Они были в замешательстве, но у них не было отчаянной потребности в ответе. Иначе окружающая их система сняла бы любое бремя с их попыток решить эту задачу. Наверняка в Манхэттенском проекте так и было — Тадзи? Ты знаешь?

Тадзи задумался. — Не все обременения, но я почти уверен, что