Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

то, что управляет предвосхищением опыта, ученик не застрянет на этапе: «Теплопроводность? Нет? Может, конвекция? Тоже не то?» Возможно, тогда размышление о слове «теплопроводность» выведет его на действительно полезный путь:

«Теплопроводность?»

Но это лишь слово — что оно значит?

Уравнение диффузии?

Но это лишь символы — как их применить?

Какого опыта заставляет ожидать применение уравнения диффузии?

Оно уж точно не заставляет меня ожидать, что дальняя от радиатора сторона металлической пластины окажется теплее.

Я замечаю, что озадачен. Может, ближняя сторона просто ощущается более холодной, потому что она сделана из материала с лучшей теплоизоляцией и передаёт меньше тепла моей руке? Попробую измерить температуру...

Ладно, дело оказалось не в этом. Могу ли я вообще попытаться проверить, выполняется ли уравнение диффузии для этой металлической пластины? Действительно ли тепло течёт так, как обычно, или же происходит что-то другое?

Я мог бы поднести спичку к пластине и попытаться измерить, как тепло распространяется со временем...

Если мы не признаем со всей строгостью, что фраза «Ну, может, из-за теплопроводности?» — это псевдообъяснение, то ученик, весьма вероятно, застрянет на каком-нибудь пароле вроде «вакаликсов». Это происходит по умолчанию: так происходило со всем человечеством на протяжении тысяч лет.

*

32. Наука как наряд.

В трейлере фильма «Люди Икс» голос за кадром произносит: «В каждом человеке... заложен генетический код... мутации». Судя по всему, в результате мутации можно приобрести самые разные классные способности. Мутант Шторм, например, способна метать молнии.

Я умоляю вас, дорогой читатель, задуматься о биологических механизмах, необходимых для генерации электричества; о биологических приспособлениях, нужных для того, чтобы самому не пострадать от этого электричества; и о когнитивных контурах, которые требуются для точного управления молниями. Если бы мы действительно наблюдали, как какой-либо организм приобретает эти способности за одно поколение в результате мутации, это полностью опровергло бы неодарвинистскую модель естественного отбора. Это было бы хуже, чем найти окаменелость кролика в докембрии. Если бы эволюционная теория на самом деле могла растянуться настолько, чтобы охватить Шторм, она могла бы объяснить всё что угодно — и все мы знаем, что из этого следует.

В комиксах о «Людях Икс» термины вроде «эволюция», «мутация» и «генетический код» используются исключительно ради того, чтобы вписаться в то, что они считают литературным жанром «наука». Меня пугает мысль о том, как много людей, особенно в СМИ, понимают науку исключительно как литературный жанр.

Я сталкиваюсь с людьми, которые самым решительным образом верят в эволюцию и насмехаются над глупостью креационистов. И при этом они понятия не имеют, что теория эволюционной биологии разрешает, а что запрещает. Они рассуждают о «следующем шаге в эволюции человечества», будто естественный отбор шёл к нынешнему состоянию по заранее намеченному плану. Или, что ещё хуже, они говорят о вещах, совершенно не относящихся к области эволюционной биологии, — например, об усовершенствованной архитектуре компьютерных чипов, делении корпораций или переносе человеческого сознания в компьютеры, — и называют это «эволюцией». Если бы эволюционная биология могла охватить всё это, она могла бы объяснить вообще всё что угодно.

Вероятно, на самом деле большинство людей, которые верят в эволюцию, используют фразу «из-за эволюции» лишь потому, что хотят быть частью научной тусовки — вера как научный наряд, вроде лабораторного халата. Если бы научная тусовка вместо этого использовала фразу «из-за разумного замысла», они с тем же восторгом повторяли бы её — для их контроллеров ожидания это не имело бы никакого значения. Фраза «из-за эволюции» вместо «из-за разумного замысла» для них вовсе не запрещает Шторм. Её единственная цель для них — идентифицивать себя с племенем.

Я встречаю людей, которые вполне готовы допустить мысль об искусственном интеллекте глупее человеческого или даже слегка превосходящем его. Но стоит заговорить об искусственном интеллекте, значительно превосходящем человека, как они тут же объявляют это «лженаукой». И дело вовсе не в том, что у них якобы есть теория интеллекта, позволяющая рассчитать теоретический верхний предел возможностей оптимизационного процесса. Просто значительно превосходящий человека ИИ ассоциируется у них с литературным жанром апокалиптики, тогда как ИИ, управляющий небольшой корпорацией, — с литературным стилем журнала Wired. Они рассуждают не в рамках когнитивной модели. Они не понимают, что им нужна модель. Они не понимают, что наука строится на моделях. Вся их сокрушительная критика сводится исключительно к сравнениям с апокалиптической литературой, а не, скажем, к известным законам, которые запрещали бы подобный исход. Они понимают науку исключительно как литературный жанр или как тусовку, к которой хочется принадлежать. Для них этот наряд не выглядит как лабораторный халат; это просто не та футбольная команда, за которую они болеют.

Есть ли в науке какая-то идея, верой в которую вы гордитесь, хотя и не используете её профессионально? Вам стоит спросить себя, какой будущий опыт ваша вера запрещает вам пережить. Это и есть всё то, что вы усвоили и сделали своей подлинной частью. Всё остальное — скорее всего, просто пароли или наряд.

*

33. Ложная причинность.

Флогистон был ответом восемнадцатого века на Стихийный Огонь греческих алхимиков. Подожгите дерево и дайте ему гореть. Что это за оранжево-яркая субстанция — «огонь»? Почему дерево превращается в золу? На оба эти вопроса химики восемнадцатого века отвечали: «флогистон».

. . . и на этом всё, понимаете, в этом и заключался их ответ: «Флогистон».

Флогистон высвобождался из горящих веществ в виде зримого пламени. По мере того как флогистон высвобождался, горящие вещества теряли его и таким образом превращались в золу — «истинное вещество». Пламя в закрытых сосудах гасло потому, что воздух насыщался флогистоном и больше не мог его вмещать. Древесный уголь сгорал почти без остатка, поскольку состоял из практически чистого флогистона.

Конечно, никто не использовал теорию флогистона, чтобы предсказывать результат химического превращения. Сначала вы смотрели на результат, а затем использовали теорию флогистона, чтобы объяснить его. Не то чтобы сторонники теории флогистона предсказывали, что пламя погаснет в закрытом сосуде; скорее, они зажигали огонь в сосуде, смотрели, как оно гаснет, а затем говорили: «Должно быть, воздух насытился флогистоном». Нельзя было использовать теорию флогистона даже для того, чтобы сказать, чего вы не должны увидеть; она могла объяснить всё что угодно.

Это была эпоха ранней науки. Долгое время никто не осознавал, что здесь есть проблема. Ложные объяснения не ощущаются ложными. Именно это делает их опасными.