Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Предположим, что вместо гадания мы бы измерили температуру металлической пластины в разных точках и в разное время. Видя металлическую пластину рядом с радиатором, мы бы при обычных условиях ожидали, что температура в конкретных точках будет соответствовать равновесному состоянию уравнения диффузии с учетом граничных условий, заданных окружающей средой. Возможно, вы не знали бы точной температуры в первой точке измерения, но после измерения первых нескольких точек — я недостаточно силен в физике, чтобы сказать, сколько именно потребуется, — вы смогли бы с высокой точностью предсказать остальные показатели.

Настоящий мастер искусства использования чисел для ограничения ожиданий относительно материальных явлений — «физик» — провел бы несколько измерений и сказал: «Эта пластина находилась в равновесии с окружающей средой две с половиной минуты назад, затем ее развернули, и сейчас она снова приближается к равновесию».

Более глубокая ошибка студентов заключается не просто в том, что они не смогли ограничить свои ожидания. Их главная ошибка в том, что они думали, будто занимаются физикой. Они произнесли фразу «из-за», добавив к ней слова, которые мог бы сказать Спок в «Звездном пути», и решили, что тем самым вступили в магистериум науки.

Ничего подобного. Они просто перенесли свою магию из одного литературного жанра в другой.

*

1. Ищите по запросу «heat conduction». Взято у Йоахима Верхагена, http://web.archive.org/web/20060424082937/http://www.nvon.nl/scheik/best/diversen/scijokes/scijokes.txt, архивная версия от 27 октября 2001 года.

31. Угадывание пароля учителя.

Когда я был маленьким, я читал научно-популярные книги по физике, например «КЭД — странная теория света и вещества». Я знал, что свет — это волны, звук — это волны, материя — это волны. В свои девять лет я очень гордился своей научной грамотностью.

Когда я стал постарше и начал читать «Фейнмановские лекции по физике», мне попалась жемчужина под названием «волновое уравнение». Я мог проследить за выводом уравнения, но, оглядываясь назад, я не мог с ходу увидеть его истинность. И я размышлял над волновым уравнением дня три, время от времени возвращаясь к нему, пока не понял, что оно очевидно до неприличия. И когда я наконец это понял, до меня дошло: всё то время, пока я принимал на веру честные заверения физиков, будто свет — это волны, звук — это волны, а материя — это волны, я не имел ни малейшего представления о том, что слово «волна» значит для физика.

Существует инстинктивное стремление думать, что если физик говорит «свет состоит из волн», учитель спрашивает «Из чего состоит свет?», а ученик отвечает «Из волн!», то ученик высказал истинное утверждение. Это же справедливо, правда? Мы принимаем ответ «волны» как правильный от физика; разве не было бы несправедливо не принять его от ученика? Разумеется, ответ «Из волн!» либо истинен, либо ложен, верно?

И это ещё одна вредная привычка, от которой нужно отучиться, поскольку её нам привила школа. Слова не содержат в себе определений изначально. Если я слышу слоги «бо-бёр» и представляю крупного грызуна, это факт о моём собственном состоянии ума, а не факт о слогах «бобр». Последовательность слогов «состоит из волн» (или «из-за теплопроводности») — это не гипотеза, это паттерн колебаний, распространяющийся по воздуху, или чернила на бумаге. Она может ассоциироваться с гипотезой в чьей-то голове, но сама по себе она не верна и не ошибочна. Но в школе учитель даёт вам золотую звёздочку за произнесение слов «состоит из волн» — ведь это, должно быть, правильный ответ, поскольку учитель слышал, как физик издавал точно такие же звуковые колебания. Поскольку за вербальное поведение (устное или письменное) дают золотые звёздочки, ученики начинают думать, будто вербальное поведение обладает истинностным значением. В конце концов, либо свет состоит из волн, либо нет, верно?

И это порождает ещё более скверную привычку. Представьте, что учитель ставит перед вами запутанную задачу: рядом с радиатором стоит металлическая пластина, и её дальняя сторона кажется теплее, чем ближняя. Учитель спрашивает: «Почему?» Если вы ответите «Я не знаю», у вас нет никаких шансов получить золотую звёздочку — это даже не зачтут как работу на уроке. Но за этот семестр учитель уже использовал фразы «из-за конвекции», «из-за теплопроводности» и «из-за теплового излучения». Наверное, учитель ждёт одну из них. И вы говорите: «Э-э, может, из-за теплопроводности?»

Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка угадать пароль учителя.

Даже если вы визуализируете символы уравнения диффузии (математического выражения, описывающего теплопроводность), это ещё не значит, что вы сформулировали гипотезу о металлической пластине. Мы не в школе; мы не проверяем вашу память, чтобы посмотреть, сможете ли вы записать уравнение диффузии. Это байесовское искусство; мы оцениваем ваше предвосхищение опыта. Если вы используете уравнение диффузии — измеряете температуру в нескольких точках термометром, а затем пытаетесь предсказать, что термометр покажет при следующем измерении, — тогда оно определённо связано с опытом. Даже если ученик просто представляет себе, как нечто течёт, и поэтому подносит спичку к более холодной стороне пластины, чтобы проверить, куда пойдёт тепло, этот мысленный образ «текучести» связывается с опытом — он управляет ожиданиями.

Если вы не используете уравнение диффузии — подставляя числа и получая результаты, которые управляют вашими ожиданиями от конкретного опыта, — то связь между картой и территорией словно ножом отрезана. Остаётся не убеждение, а лишь вербальное поведение.

В школьной системе всё завязано на вербальном поведении, будь оно записано на бумаге или произнесено вслух. За вербальное поведение вам дают либо золотую звёздочку, либо двойку. Часть процесса избавления от этой вредной привычки — научиться осознанно улавливать разницу между объяснением и паролем.

Не слишком ли это сурово? Разве робкое «теплопроводность?» перед лицом непонятной металлической пластины не может быть первым шагом на пути к ответу? Может, но только в том случае, если вы не попадётесь в ловушку мысли, будто ищете пароль. А что, если рядом нет учителя, который сказал бы, что вы ошиблись? Тогда вы можете решить, что «свет — это вакаликсы» — отличное объяснение, а «вакаликсы» — правильный пароль. Со мной такое случилось в девять лет — не потому, что я был глуп, а потому, что именно это происходит по умолчанию. Именно так думают люди, если только их не научили не попадаться в эту ловушку. Человечество тысячелетиями застревало в подобных тупиках.

Возможно, если мы будем вдалбливать ученикам, что важны не слова, а лишь