Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

нейросети.8) Но насколько же жалок алгоритм, если можно повысить его эффективность, впрыскивая энтропию в промежуточные стадии обработки данных? Алгоритм, должно быть, настолько разлажен, что часть его работы уходит на концентрацию массы вероятности в стороне от хороших решений. Если добавление случайности приводит к стабильному улучшению, то какая-то часть алгоритма должна стабильно работать хуже, чем случайный выбор. Только в области ИИ люди умудряются разрабатывать алгоритмы буквально глупее мешка кирпичей, слегка подтягивать результаты обратно в сторону неведения, а затем рассуждать о целебной силе шума.

Предположим, что в нашем эксперименте мы получаем результаты 52, 51 и 58. Точная теория дает этому совместному событию вероятность как один к тысяче, помноженное на 90%, помноженное на один к тысяче, в то время как более расплывчатая теория дает этому совместному событию вероятность как 9% в кубе, что составляет... так... эм... давайте посчитаем... миллион к одному при точной теории против одной тысячи к одному при расплывчатой теории. Или около того; мы считаем грубо, по степеням десятки. Против миллиона к одному при распределении нулевого знания, которое присваивает равную вероятность всем исходам. Против миллиарда к одному при модели, которая хуже, чем ничего — глупой гипотезе, утверждающей 90%-ную вероятность увидеть число меньше 10. Используя эти приблизительные числа, расплывчатая теория набирает -30 децибел (вероятность 1/1000 для всего исхода эксперимента) против -60 децибел у точной теории, -60 децибел у теории неведения и -90 децибел у глупой теории. Не всегда побеждает тот, у кого наибольшее число очков, поскольку нам нужно учесть наши априорные шансы 1:10:200:10, то есть уверенность в -23, -13, 0 и -13 децибел соответственно. Расплывчатая теория все равно лидирует с наивысшим итоговым результатом в -43 децибела. (Если бы мы игнорировали априорные вероятности, каждый новый эксперимент перечеркивал бы накопленные результаты всех предыдущих; мы не смогли бы накапливать знание. Более того, гипотеза о фиксированной монете всегда бы побеждала.)

Как всегда, нас не должно пугать то, что даже лучшая теория все еще имеет низкий результат — вспомните притчу о честной монете. Теории — это приближения. В принципе, мы могли бы предсказать точную последовательность бросков монеты. Но для этого потребовались бы более точные измерения и больше вычислительной мощности, чем мы готовы потратить. Возможно, с достаточно хорошей моделью мы могли бы добиться предсказания бросков с точностью 60 на 40... ? Мы выбираем лучшее приближение из имеющихся и пытаемся достичь хорошей калибровки, даже если различающая способность не идеальна.

До этого момента мы проводили анализ по правилам байесовской теории вероятностей, в которой невозможно получить более 100% массы вероятности, а значит, невозможно смухлевать так, чтобы любой исход считался «подтверждением» вашей теории. По байесовским законам игрушечные деньги нельзя подделать; у вас есть лишь строго ограниченное количество глины.

К сожалению, люди — не байесовцы. Люди странным образом пытаются защищать гипотезы, прикладывая сознательные усилия, чтобы доказать их или предотвратить опровержение. У этого поведения нет аналогов в законах теории вероятностей или теории принятия решений. В формальной теории вероятностей гипотеза просто есть, и свидетельство просто есть, и гипотеза либо подтверждается, либо нет. В формальной теории принятия решений агент может приложить усилия для исследования какого-то вопроса, в котором он сейчас не уверен, не зная, склонится ли свидетельство в одну или в другую сторону. Ни в том, ни в другом случае никто никогда намеренно не пытается доказать идею или избежать её опровержения. Можно проверять идеи, в которых искренне сомневаешься, но нельзя иметь «предпочтительный» исход исследования. Нельзя пытаться ни доказывать гипотезы, ни препятствовать их доказательству. Я не могу в полной мере передать, насколько нелепой показалась бы эта концепция истинному байесовцу; на байесовском языке даже нет слов, чтобы описать эту ошибку...

Каждому ожиданию свидетельства соответствует равное и противоположное ожидание контрсвидетельства. Если А — свидетельство в пользу Б, то не-А должно быть свидетельством в пользу не-Б. Сила этих свидетельств не обязательно должна быть равной; редкое, но веское свидетельство в одну сторону может уравновешиваться частым, но слабым свидетельством в другую сторону. Но невозможно, чтобы и А, и не-А одновременно были свидетельствами в пользу Б. То есть это невозможно по законам теории вероятностей.

Люди часто ведут себя так, будто хотят и пирог сохранить, и съесть его. Какой бы результат мы ни увидели, именно он и доказывает нашу теорию. Как выразился Шпее, священник из главы «Закон сохранения ожидаемого свидетельства»: «Следственный комитет посчитал бы себя опозоренным, если бы оправдал женщину; раз уж она арестована и закована в цепи, она должна быть виновна, всеми правдами и неправдами».9

Человеческая психология, похоже, устроена так: сначала мы видим, как что-то происходит, а затем пытаемся доказать, что это соответствует той гипотезе, которую мы держали в уме заранее. Вместо сохраняющейся массы вероятности, которую нужно распределять по предварительным предсказаниям, у нас есть чувство совместимости — степень, в которой объяснение и событие «соответствуют» друг другу. Это «соответствие» не сохраняется. Здесь нет аналога правила, согласно которому сумма масс вероятностей должна равняться единице. Психоаналитик может объяснить любое возможное поведение пациента, выстроив подходящую структуру «рационализаций» и «защит»: раз подходит, значит, это правда.

Теперь вспомните басню из эссе «Ложные объяснения» — о студентах, которые видят батарею отопления и металлическую пластину рядом с ней. Студенты никогда бы заранее не предсказали, что сторона пластины, обращенная к батарее, окажется холоднее. И всё же, столкнувшись с этим фактом, они умудрились «подогнать» свои объяснения под него. Они упустили свой драгоценный шанс удивиться и осознать, что их модели не предсказывали наблюдаемое явление. Они пожертвовали своей способностью испытывать большее замешательство от вымысла, чем от истины. И они не поняли, что слова вроде «тепловая индукция, бла-бла-бла, поэтому ближняя сторона холоднее» — это расплывчатое вербальное предсказание, размазанное по огромному диапазону возможных значений конкретных измеряемых температур. Применение уравнений диффузии и термодинамического равновесия дало бы точное предсказание для возможных совместных значений. Оно могло бы не определять самые первые измеренные вами значения, но, зная несколько значений, вы могли бы составить точное предсказание для всех остальных. Результат для всего исхода эксперимента оказался бы намного выше, чем у любой менее точной альтернативы, особенно у расплывчатого вербального предсказания.

Теперь у вас есть техническое объяснение разницы между вербальным и техническим объяснениями. Оно техническое, потому что позволяет вам вычислить, насколько именно техническим является объяснение. Расплывчатые гипотезы могут быть настолько туманными, что только сверхчеловеческий интеллект мог бы рассчитать, насколько именно они расплывчаты. Возможно, достаточно мощный интеллект мог бы экстраполировать