Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— Вот как, — произнёс Джеффриссай. Он сделал несколько шагов вперёд и остановился прямо перед партой Бреннана. — Ты думаешь, учёные Элд просто недостаточно старались. Потому что у их искусства не было военного применения? Довольно-таки сопернический взгляд на вещи, как по мне.

— Не обязательно, — спокойно ответил Бреннан. — Прагматизм — это тоже добродетель рациональности. Желаемое применение для более совершенной квантовой теории помогло бы учёным Элд во многих отношениях, не только в плане мотивации. Оно придало бы форму их любопытству и подсказало бы, что считать успехом, а что — неудачей.

Джеффриссай тихонько усмехнулся. — Не пытайся так усердно угадать, что мне хотелось бы услышать, Соперник. Твоё первое утверждение было ближе к моей скрытой цели; твоя о-очень-байесианская оговорка пролетела мимо... Фактор, который я имел в виду, Бреннан, заключается в том, что учёные Элд считали приемлемым тратить на решение проблемы тридцать лет. Весь их социальный процесс науки строился на том, чтобы прийти к истине в конце концов. Ошибочную теорию отбрасывали в конце концов — когда вырастало следующее поколение студентов, уже знакомых с альтернативой. Как говорится, работа заполняет всё время, отпущенное на неё. Но люди способны приходить к важным мыслям гораздо быстрее, чем за тридцать лет, если ожидают от себя скорости. — Джеффриссай внезапно опустил ладонь на подлокотник стула Бреннана. — Сколько у тебя есть времени, чтобы увернуться от брошенного ножа?

— Очень мало времени, сэнсэй!

— Меньше секунды! На тебя нападают двое противников! Сколько у тебя времени, чтобы угадать, кто из них опаснее?

— Меньше секунды, сэнсэй!

— Противники разделились и нападают на двух твоих возлюбленных! Сколько у тебя времени, чтобы решить, какую из них ты любишь по-настоящему?

— Меньше секунды, сэнсэй!

— Новый аргумент показывает несостоятельность твоей драгоценной теории! Сколько времени тебе нужно, чтобы изменить своё мнение?

— Меньше секунды, сэнсэй!

— НЕВЕРНО! НЕ ДАВАЙ МНЕ НЕПРАВИЛЬНЫЙ ОТВЕТ ТОЛЬКО ПОТОМУ, ЧТО ОН УКЛАДЫВАЕТСЯ В УДОБНЫЙ ШАБЛОН И КАЖЕТСЯ, ЧТО Я ЭТОГО ОТ ТЕБЯ ЖДУ! Сколько времени это занимает на самом деле, Бреннан?

Спина Бреннана покрылась потом, но он остановился и действительно задумался —

— ОТВЕЧАЙ, БРЕННАН!

— Нет, сэнсэй! Я ещё не закончил думать, сэнсэй! Ответ был бы преждевременным! Сэнсэй!

— Очень хорошо! Продолжай! Но только не тридцать лет!

Бреннан глубоко вздохнул, упорядочивая мысли. Наконец он произнёс: — Реалистично говоря, сэнсэй, в лучшем случае я сразу увижу проблему, применю дисциплину приостановки суждения, попытаюсь заново собрать все свидетельства, прежде чем продолжать, и, в зависимости от того, насколько я был эмоционально привязан к теории, использую технику кризиса веры, чтобы гарантировать, что действительно смогу принять любую из сторон. Так что как минимум пять минут, а возможно, до одного часа.

— Хорошо! На этот раз ты действительно подумал! Думай так каждый раз! Ломай шаблоны! Во времена науки Элд, Бреннан, для грантовых агентств было обычным делом тратить по шесть месяцев на рассмотрение заявки. Они позволяли себе тратить столько времени! Твоя оценка зависит от твоей скорости, Бреннан! Вопрос не в том, придёшь ли ты к этому в конце концов! Любой может докопаться до истины за пять тысяч лет! Тебе нужно двигаться быстрее!

— Да, сэнсэй!

— А теперь, Бреннан, ты только что узнал что-то новое?

— Да, сэнсэй!

— Сколько времени у тебя ушло на то, чтобы узнать это новое?

Тут выбор был довольно произвольным... — Меньше минуты, сэнсэй, если считать от границы, которая кажется наиболее очевидной.

— Меньше минуты, — повторил Джеффриссай. — Тогда, Бреннан, сколько, по-твоему, должно требоваться времени на решение крупной научной проблемы, если не тратить время впустую?

Вот уж действительно вопрос с подвохом — краше Бреннан и не слыхивал. Невозможно было угадать, какой отрезок времени держит в голове Джеффриссай — что сэнсэй сочтёт слишком долгим, а что — слишком коротким. А значит, единственным выходом было попытаться нащупать подлинную истину; это давало ему защиту честности — пусть и слабую. — Один год, сэнсэй?

— Как думаешь, можно ли сделать это за один месяц, Бреннан? В случае, предположим, когда у тебя в принципе уже есть достаточно экспериментальных данных для определения ответа, но не настолько много, чтобы ты мог позволить себе ошибаться при их интерпретации.

И снова — никак не угадать, какого ответа может хотеть... — Один месяц кажется мне нереалистично коротким сроком, сэнсэй.

— Коротким сроком? — недоверчиво переспросил Джеффриссай. — Сколько минут в тридцати днях? Хирива?

— Сорок три тысячи двести, сэнсэй, — ответила она. — Если исходить из шестнадцати часов бодрствования в сутки и ежедневного сна, то двадцать восемь тысяч восемьсот минут.

— Предположим, Бреннан, что требуется целых пять минут, чтобы додуматься до какой-то оригинальной мысли самому, а не узнать её от кого-то другого. Неужели даже крупная научная проблема требует пяти тысяч семисот шестидесяти отдельных озарений?

— Признаться, сэнсэй, — медленно произнёс Бреннан, — я никогда раньше не думал об этом в таком ключе... Но неужели вы утверждаете, что это действительно реалистичный уровень продуктивности?

— Нет, — сказал Джеффриссай, — но точно так же нереалистично думать, будто для решения одной проблемы требуется пять тысяч семьсот шестьдесят озарений. И да, такое уже бывало.

Джеффриссай отступил назад и доброжелательно улыбнулся. Все ученики в комнате напряглись; они знали эту улыбку. «Хотя никто из вас не угадал именно тот ответ, который я имел в виду, тем не менее ваши ответы были столь же разумны, как и мой. За исключением, боюсь, ответа Стирлина. Даже ответ Хиривы не был полностью ошибочным: в то время формулирование новых теорий считалось священным долгом, закреплённым за людьми с высоким статусом, поскольку количество находящихся в обращении проблем было ограничено. Но ответ Бреннана особенно интересен, и я склонен проверить его теорию мотивации».

Чёрт подери, — мысленно произнёс Бреннан. Джеффриссай жестом приглашал Бреннана встать перед классом.

Когда Бреннан поднялся, Джеффриссай аккуратно уселся в его кресло.

— Бреннан-сэнсэй, — сказал Джеффриссай, — у вас есть пять минут, чтобы придумать что-то потрясающе гениальное о провале науки Элд в квантовой физике. Что же касается остальных, то наша задача — выжидающе на вас смотреть. Могу лишь представить, как неловко вам будет, если вы не придумаете ничего путного.

Мерзавец. Бреннан не стал говорить этого вслух. На лице Тадзи читалось некоторое сочувствие; Стирлин держался в стороне от этой игры; Инь же смотрела