Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

вам и кажется, будто вы знаете причину этого. Это огромный тревожный знак, как я теперь понимаю, но это не тот тревожный знак, о котором предупреждали меня, и я сомневаюсь, что научный руководитель Пенроуза когда-либо говорил ему об этом. Да и сомневаюсь, что Нильса Бора кто-то предупреждал об этом, когда пришло время формулировать копенгагенскую интерпретацию.

Насколько я могу судить, причина, по которой Элиезер18, сэр Роджер Пенроуз и Нильс Бор не были предупреждены, заключается в том, что никакого стандартного предупреждения просто не существует.

Я не обобщал концепцию «таинственных ответов на таинственные вопросы» именно в такой формулировке до тех пор, пока не занялся байесовским анализом различий между техническими, нетехническими и полутехническими научными объяснениями. Теперь же конечный результат этого анализа можно сформулировать нетехническим языком в виде четырех тревожных признаков:

Во-первых, объяснение служит скорее гасителем любопытства, а не регулятором ожиданий.

Во-вторых, у гипотезы нет «движущихся частей» — ее «секретный ингредиент» представляет собой не конкретный сложный механизм, а некую монолитную субстанцию или силу.

В-третьих, те, кто предлагает подобное объяснение, лелеют свое невежество; они с гордостью рассуждают о том, как это явление ставит в тупик обычную науку или насколько оно не похоже на банальные земные явления.

В-четвертых, даже после того, как ответ дан, явление все равно остается загадкой и сохраняет то же свойство поразительной необъяснимости, что и в самом начале.

В принципе, все это можно было сформулировать сразу же после краха витализма. Точно так же, как элементарную теорию вероятностей мог бы изобрести Архимед, а древние греки могли бы теоретически обосновать естественный отбор. Но на самом деле никто никогда не предостерегал меня ни от одной из этих четырех опасностей в подобных терминах — ближе всего было требование, чтобы гипотезы имели проверяемые следствия. И я не сформулировал эти тревожные признаки в явном виде, пока не попытался осмыслить все это в терминах распределений вероятностей — для этого потребовалась некоторая избыточность.

У меня просто нет причин верить, что подобные предостережения передаются в ходе научного ученичества — уж точно не большинству ученых. Помимо прочего, это советы по действиям в ситуациях замешательства и отчаяния, в условиях научного хаоса. Когда бы у среднестатистического ученого или его научного руководителя вообще появилась возможность применить подобные методы?

Мы только что закончили обсуждение фиаско одномировой интерпретации в физике. Очевидно, что никто не рассказывал физикам о формальном определении Бритвы Оккама — ни шепотом во время ученичества, ни как-либо еще.

Известен эффект, когда у великих ученых появляется множество великих учеников. Весьма возможно, это связано с тем, что наставники передают им навыки, которые не могут описать словами. Но я не думаю, что это можно считать частью стандартной науки. И если великие наставники не смогли облечь свои напутствия в слова и опубликовать их для всех, это плохой признак того, насколько хорошо эти вещи вообще понимаются.

Рассуждать в отсутствие определенного эмпирического подтверждения и при этом не оказаться моментально и полностью неправым — это очень, очень трудно. Когда вы учитесь в школе, вы можете упустить одну деталь, а затем вам объяснят пятьдесят других вещей, которые окажутся верными. Но когда вы выводите новое знание в отсутствие сокрушительно очевидных ориентиров, вы можете упустить одну деталь и через пятьдесят шагов очнуться где-нибудь на краю света.

Я практически уверен, что ученые, которые отключают мозг и расслабляются под аккомпанемент какого-нибудь удобного вздора, едва покинув пределы своей специальности, не понимают, что разум — это двигатель, и что за каждым надежным убеждением стоит причинно-следственная история. И я подозреваю, им никогда не говорили, что для любого массива свидетельств существует точная рациональная вероятность, в которой нет места капризам; даже если вы не можете её рассчитать, и даже если никто авторитетно не приказывает вам, во что верить.

Я сомневаюсь, что ученым, которых СМИ просят порассуждать о будущем и которые рисуют удивительно подробные картины жизни в 2050 году, когда-либо рассказывали об ошибке конъюнкции. Или о том, как эвристика репрезентативности может делать более подробные истории более правдоподобными, даже когда каждая дополнительная деталь снижает вероятность. Идея о том, что каждая добавленная деталь нуждается в собственном обосновании — что нельзя просто выдумывать длинные подробные истории, которые звучат точь-в-точь как подробные истории, которым вас учили на уроках естествознания или истории, — абсолютно жизненно важна для точного мышления в отсутствие определенного эмпирического подтверждения. Но как подобная идея могла бы попасть в программу стандартной подготовки ученых? Это когнитивное искажение было открыто всего несколько десятилетий назад, а популяризировать его начали и вовсе совсем недавно.

А еще существуют аффективные спирали смерти вокруг понятий вроде «эмерджентности» или «сложности», которые определены настолько расплывчато, что о них можно говорить кучу приятных вещей. Существуют целые научные направления, построенные вокруг ошибок, которые когда-то совершал Элиезер18! (Хотя на удочку «эмерджентности» я никогда не попадался).

Иногда я говорю, что цель науки — накопить столь колоссальную гору свидетельств, что ее не смогут игнорировать даже ученые. И в этом заключается отличительная черта ученого; неученый все равно ее проигнорирует.

Если может существовать некий объем свидетельств, настолько сокрушительный, что вы наконец впадаете в отчаяние, перестаете оправдываться и просто сдаетесь — отбрасываете старую теорию и больше никогда о ней не упоминаете, — то этого уже достаточно, чтобы храповик Науки со временем двигался вперед и создавал технологическую цивилизацию. В отличие от религии.

Книги Карла Сагана, Мартина Гарднера и другие труды в русле Традиционной Рациональности как раз призваны обеспечить это различие: превратить человека из неученого в потенциального ученого и уберечь его от экспериментально опровергнутого безумия.

Какую еще подготовку получает профессиональный ученый? Несколько курсов по частотной статистике о том, как рассчитывать статистическую значимость. Обучение стандартным методам, которые позволят ему штамповать статьи в рамках прочно установившейся парадигмы.

Если бы Наука требовала от среднего ученого большего, то, я думаю, заниматься наукой было бы просто невозможно. У нас и так достаточно проблем с людьми, которые проникают туда без самой что ни на есть базовой квалификации.

Ник Тарлтон очень хорошо резюмировал возникающую проблему — на самом деле лучше, чем я: если вы выдвигаете кажущуюся странной гипотезу, которая еще не опровергнута свидетельствами, и пытаетесь проверить ее экспериментально, Наука не назовет вас плохим человеком. Наука не доверяет своим авторитетам решать, какие гипотезы «не стоят проверки». Но это намеренно мягкий социальный стандарт, и если вы попытаетесь перенести его на стандарт индивидуальной эпистемической рациональности, он позволит вам верить в слишком многое. Возвращаясь к