Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

На поверхностном уровне всё не обязательно просто. Чтобы обнаружить стабильность, нужно погрузиться глубже.

Мыслите законами, а не инструментами. Необходимость вычислять приближения к закону не меняет сам закон. Самолёты всё ещё состоят из атомов, для них в природе нет специальных исключений, облегчающих аэродинамические расчёты. Приближение существует на карте, а не на территории. Вы можете знать второй закон термодинамики и при этом работать инженером, создающим несовершенный автомобильный двигатель. Второй закон не перестаёт действовать; ваше знание этого закона и циклов Карно помогает вам подобраться как можно ближе к идеальной эффективности.

Мы очарованы байесовскими методами вовсе не потому, что они красивы. Красота — это побочный эффект. Байесовские теоремы элегантны, согласованы, оптимальны и доказуемо уникальны именно потому, что они являются законами.

*

1. Эдвин Т. Джейнс, «Теория вероятностей как логика», в Maximum Entropy and Bayesian Methods, под ред. Пола Ф. Фужера (Springer Netherlands, 1990).

2. Дэвид Дж. К. Маккей, Information Theory, Inference, and Learning Algorithms (New York: Cambridge University Press, 2003).

185. Вне лаборатории.

«За пределами лаборатории ученые не мудрее всех остальных». Иногда эту пословицу произносят сами ученые — смиренно и грустно, чтобы напомнить себе о собственной склонности ошибаться. Иногда ее повторяют по гораздо менее достойным причинам — чтобы обесценить нежелательные советы экспертов. Верна ли она? Пожалуй, не в абсолютном смысле. Было бы слишком пессимистично утверждать, будто ученые буквально ничуть не мудрее среднего человека и корреляция здесь буквально нулевая.

Но до некоторой степени пословица все же кажется верной, и я считаю, что этот факт должен нас серьезно встревожить. Нам не стоит вздыхать и печально качать головой — напротив, мы должны встрепенуться от тревоги. Почему? Что ж, представьте, что ученика пастуха долго и упорно учили считать овец, когда они входят в загон и выходят из него. Таким образом пастух понимает, когда все овцы ушли, а когда вернулись. Но вот вы даете пастуху несколько яблок и спрашиваете: «Сколько тут яблок?» А он смотрит на вас пустым взглядом, потому что его учили считать только овец, а не яблоки. Вы, скорее всего, заподозрите, что пастух не очень-то понимает саму суть счета.

Теперь представьте, что доктор экономических наук каждую неделю покупает лотерейный билет. Мы невольно зададимся вопросом: действительно ли этот человек понимает концепцию ожидаемой полезности нутром? Или его просто натаскали выполнять определенные алгебраические трюки?

Вспоминается рассказ Ричарда Фейнмана о провальной программе обучения физике:

Студенты зазубрили абсолютно всё, но понятия не имели, что всё это значит. Слыша фразу «свет, отраженный от среды с показателем преломления», они не догадывались, что имеется в виду среда вроде воды. Они не знали, что «направление света» — это направление, в котором вы что-то видите, когда на это смотрите, и так далее. Всё было вызубрено назубок, но ничто не было переведено в осмысленные слова. Поэтому, когда я спрашивал: «Что такое угол Брюстера?», я словно вводил правильный поисковый запрос в компьютер. Но если я говорил: «Посмотрите на воду», ничего не происходило — у них в этой ячейке было пусто!

Представьте себе с виду компетентного ученого, который умеет планировать эксперимент на N испытуемых: эти N испытуемых пройдут рандомизированное лечение, «слепые» оценщики классифицируют результаты, а затем мы прогоним данные через компьютер и проверим, значимы ли они на уровне значимости 0,05. Но ведь это не просто ритуальная традиция. Это не условность этикета вроде выбора правильной вилки для салата. Это ритуал, созданный для экспериментальной проверки гипотез. Почему гипотезы вообще нужно проверять экспериментально? Потому что вы знаете, что научный журнал потребует этого для публикации вашей статьи? Потому что вас так учили в университете? Потому что все вокруг хором твердят, что проводить эксперимент необходимо, и на вас косо посмотрят, если вы усомнитесь в этом?

Нет: потому что для составления карты территории вам нужно выйти наружу и на эту территорию посмотреть. Невозможно составить точную карту города, сидя в гостиной с закрытыми глазами и приятно фантазируя о том, каким бы вам хотелось его видеть. Придется выйти, обойти город пешком и начертить на бумаге линии, соответствующие увиденному. В миниатюре это происходит всякий раз, когда вы опускаете взгляд, чтобы проверить, не развязались ли шнурки. Фотоны летят от Солнца, отражаются от ваших шнурков, попадают на сетчатку, преобразуются в частоту нейронных импульсов, а затем зрительная кора воссоздает из них паттерн активации, который тесно коррелирует с текущим положением шнурков. Чтобы получить новую информацию о территории, вы должны с ней взаимодействовать. Должен существовать вполне реальный физический процесс, связывающий состояние вашего мозга с состоянием окружающей среды. Процессы мышления — это не магия, их работу можно объяснить причинно-следственными связями. Всё это говорит об одном: чтобы что-то выяснить, нужно пойти и посмотреть.

И что нам думать об ученом, который вполне компетентен в лаборатории, но за ее пределами верит в мир духов? Мы спрашиваем почему, а ученый отвечает что-то в духе: «Ну, доподлинно этого никто не знает, и я признаю, что у меня нет доказательств — это религиозная вера, ее невозможно ни доказать, ни опровергнуть наблюдениями». Я не могу не прийти к выводу, что этот человек буквально не понимает, зачем вообще нужно на что-то смотреть. Его могли научить определенному ритуалу экспериментирования, но он не осознает его смысла — того, что для составления карты территории на нее необходимо посмотреть, и того, что для получения информации о среде необходимо пройти через причинно-следственный процесс взаимодействия со средой, приводящий к корреляции с ней. Это в равной степени относится и к схеме двойного слепого эксперимента по сбору данных об эффективности нового медицинского прибора, и к сбору информации о ваших шнурках с помощью глаз.

Возможно, наш религиозный ученый возразит: «Но это не вопрос для экспериментов. Духи говорили со мной в моем сердце». Что ж, если мы действительно допускаем, что духи хоть каким-то образом с нами говорят, это является причинно-следственным взаимодействием, а значит — наблюдением. Теория вероятностей здесь все так же применима. Если вы утверждаете, будто личный опыт слышания «голосов духов» служит доказательством их реального существования, вы должны предположить, что отношение правдоподобия в пользу того, что эти «голоса» вызваны именно духами (а не какими-то иными причинами), достаточно велико, чтобы перевесить априорную маловероятность столь сложного верования, состоящего из множества