Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

каждый возможный экспериментальный результат и каждый возможный вердикт расплывчато мыслящего человека о том, насколько хорошо «соответствует» расплывчатая гипотеза, а затем ренормировать распределение «соответствия» в распределение правдоподобия, дающее в сумме единицу. Но в принципе вычислить, насколько именно расплывчата та или иная гипотеза, всё же возможно. Этот расчёт просто вычислительно неосуществим, подобно тому как вычислительно неосуществим расчёт траектории самолёта методами квантовой механики.

Я утверждаю, что каждому необходимо изучить хотя бы одну техническую дисциплину: физику, компьютерные науки, эволюционную биологию, байесовскую теорию вероятностей или что-то подобное. Человек, у которого за плечами нет ни одной технической дисциплины, не имеет эталона для понимания того, что значит «объяснить» что-либо. Он может думать, будто «всё есть огонь» — это объяснение, как думал древнегреческий философ Гераклит. Именно поэтому я выступаю за то, чтобы байесовскую теорию вероятностей преподавали в старших классах школы. Байесовская теория вероятностей — единственный известный мне раздел математики, который доступен на уровне старшей школы и позволяет получить техническое понимание предмета (динамики убеждений), который относится к повседневной реальности и имеет эмоционально значимые последствия. Изучение байесовской вероятности дало бы ученикам эталон того, что значит «объяснить» что-либо.

Слишком многие академики думают, что быть «техническим» означает изъясняться сухими многосложными словами. Вот вам «техническое» объяснение технического объяснения:

Уравнения теории вероятностей отдают предпочтение гипотезам, которые уверенно предсказывают точные наблюдаемые данные. Сильные модели смело концентрируют свою плотность вероятности на точных исходах, что делает их фальсифицируемыми, если данные окажутся иными, и даёт им колоссальное преимущество в правдоподобии над моделями менее смелыми и менее точными. Вербальное объяснение опирается на психологическую оценку несохраняющегося соответствия post facto вместо сохраняющейся плотности вероятности ante facto. К тому же вербальное объяснение не рисует чётко детализированных картин, подразумевая гладкое распределение правдоподобия в окрестности данных.

Удовлетворительно? Нет. Прислушайтесь к этим внушительным и веским фразам, звучащим с глухим стуком экспертности. Посмотрите на несчастных студентов, прилежно записывающих эти фразы на листке бумаги. Даже услышав эти ритуальные слова, слушатели не могут произвести никаких расчётов. Вы знаете математику, поэтому эти слова наполнены для вас смыслом. Вы можете произвести расчёты после того, как услышали эти впечатляющие слова, точно так же, как могли сделать это и до того. Но как быть тому, кто вообще не видел, как выполняются эти расчёты? Какие новые навыки они приобрели благодаря этой «технической» лекции, кроме умения повторять интригующие слова?

«Байесовский» — безусловно интригующее слово, не так ли? Давайте выпустим пар: Байес Байес Байес Байес Байес Байес Байес Байес Байес . . .

Этот священный слог бессмысленен, за исключением того, что он предписывает применить математику. Следовательно, тот, кто его слышит, уже должен знать эту математику.

И наоборот: если вы знаете математику, вы можете валять дурака сколько угодно и всё равно оставаться техничным.

Тем самым мы избавляемся от ещё одного стереотипа о рациональности — будто она состоит из сухой формальности и угрюмой торжественности. Какое отношение это имеет к задаче отделения истины от лжи? Какое отношение это имеет к получению карты, отражающей территорию? Учёный, достойный своего лабораторного халата, должен быть способен делать оригинальные открытия в костюме клоуна или читать лекцию высоким писклявым голосом, надышавшись гелием. В математике теории вероятностей нигде не написано, что развлекаться запрещено. Клинок, прорубающий путь к правильному ответу, сам по себе не обладает ни достоинством, ни глупостью, хотя он вполне может прийтись по руке несерьёзному владельцу.

Полезная модель — это не просто знание вроде того, что самолёт состоит из атомов. Полезная модель — это знание, которое вы можете рассчитать за разумное время, чтобы предсказать события реального мира, которые вы умеете наблюдать. Возможно, кто-то обнаружит, что с помощью модели, которая слегка нарушает закон сохранения импульса, можно рассчитать аэродинамику «Боинга-747» гораздо дешевле, чем если бы мы настаивали на строгом сохранении импульса. Так что если у вас есть два компьютера, соревнующихся в точности предсказания, может оказаться, что лучшее предсказание выдаст модель, нарушающая закон сохранения импульса. Это не означает, что настоящий «Боинг-747» нарушает закон сохранения импульса в реальности. Ни одна из этих моделей не учитывает отдельные атомы, но из этого не следует, что самолёт не состоит из атомов. Физики используют разные модели для прогнозирования поведения самолётов и столкновений частиц, потому что рассчитывать самолёт поатомно было бы слишком дорого.

Вы могли бы доказать, что «Боинг-747» состоит из атомов, с помощью экспериментальных данных, с которыми аэродинамические модели не справятся; например, направить сканирующий туннельный микроскоп на участок крыла и рассмотреть атомы. Точно так же вы могли бы использовать более точный измерительный прибор, чтобы отличить «Боинг-747», который действительно нарушает закон сохранения импульса, как предсказывает дешёвая аппроксимация, от «Боинга-747», который подчиняется закону сохранения импульса, как предсказывает фундаментальная физика. Побеждает та теория, которая лучше всего предсказывает результаты всех экспериментов в совокупности. Наше байесовское правило оценки даёт нам способ объединить результаты всех наших экспериментов, даже тех, в которых используются разные методы.

Более того, атомарная теория допускает, принимает и в некотором смысле предписывает использование аэродинамической модели. Размышляя абстрактно о допущениях атомарной теории, мы понимаем, что аэродинамическая модель должна быть хорошим (и гораздо более дешёвым) приближением атомарной теории, и поэтому атомарная теория поддерживает аэродинамическую модель, а не конкурирует с ней. Успешная теория может включать в себя множество моделей для различных областей, если эти модели признаются приближениями и в каждом случае модель совместима с лежащей в её основе теорией (а в идеале — предписывается ею).

Наша фундаментальная физика — квантовая механика, стандартное семейство частиц и теория относительности — это теория, которая охватывает огромное семейство моделей макроскопических физических явлений. Существует физика жидкостей, твердых тел и газов; но это не означает, что в мире есть фундаментальные сущности, обладающие внутренним свойством жидкостности.

По видимости существует цвет, по видимости — сладкое, по видимости — горькое, а в действительности существуют только атомы и пустота.

— Демокрит, 420 г. до н. э., по Робинсону и Гроувзу10

Утверждая, что «техническая» теория должна определяться как теория, резко концентрирующая вероятность в конкретных заблаговременных предсказаниях, я устанавливаю чрезвычайно высокую планку строгости. Мы видели, что туманная теория может быть лучше, чем ничего. Туманная теория может одержать верх над гипотезой неведения, если с ней не конкурируют точные теории.

Существует огромное семейство моделей, относящихся к центральной фундаментальной теории жизни и биологии — теории, которую иногда называют неодарвинизмом, естественным отбором или эволюцией. Некоторые модели в эволюционной теории количественные. Способ, которым ДНК кодирует белки, избыточен: две разные последовательности