Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

(полезность может быть представлена в виде вещественного числа от минус до плюс бесконечности)

{сестра выживает → 1, сестра умирает → 0}

Conditional_probability_function :

тип Action -> (Outcome -> Probability)

функция условной вероятности, которая сопоставляет каждому действию распределение вероятностей по исходам

(вероятность может быть представлена в виде вещественного числа от 0 до 1)

{ввести пенициллин → (сестра выживает → 0.9, сестра умирает → 0.1), не вводить пенициллин → (сестра выживает → 0.3, сестра умирает → 0.7)}

Если вы не умеете читать систему типов напрямую, не волнуйтесь, я всегда буду переводить это на обычный язык. Программистам же описание в виде отдельных инструкций помогает сформировать в уме четкие, разграниченные объекты.

А сама система принятия решений?

Expected_Utility : Action A ->

(Sum O in Outcomes: Utility(O) * Probability(O|A))

«Ожидаемая полезность» действия равна сумме по всем исходам полезности этого исхода, умноженной на его условную вероятность при условии данного действия.

{EU(ввести пенициллин) = 0.9, EU(не вводить пенициллин) = 0.3}

Choose :

-> (Argmax A in Actions: Expected_Utility(A))

Выбрать действие с максимальной «ожидаемой полезностью».

{return: ввести пенициллин}

Для каждого действия рассчитайте условную вероятность всех последствий, которые могут за ним последовать, затем сложите полезности этих последствий, умноженные на их условную вероятность. После этого выберите наилучшее действие.

Это математически простая схема системы принятия решений. Но для реального мира такой способ вычисления решений неэффективен.

Что если, к примеру, для выполнения плана вам нужна последовательность действий? Формализм может легко это отразить, если принять каждое Действие за целую последовательность. Но это порождает экспоненциально огромное пространство — подобно пространству всех возможных предложений, которые можно набрать из 100 букв. Простой пример: если одним из возможных действий на первом шаге будет «прострелить себе ногу», человек при планировании сразу поймет, что в целом это плохая идея, и исключит все последовательности, начинающиеся с этого действия. Но в нашей модели мы сгладили эту структуру, сделав её плоской. У нас нет последовательностей шагов, есть только плоские «действия».

Так что да, здесь есть несколько мелких сложностей. Очевидно, что это так, иначе мы бы просто взяли и построили настоящий ИИ на этой основе. В этом смысле всё обстоит точно так же, как и с самой байесовской теорией вероятностей.

Но это один из тех случаев, когда рассмотреть абсурдно простую версию перед добавлением всяких заумных сложностей — поразительно хорошая идея.

Представьте философа, который утверждает: «Все мы в конечном счёте эгоисты; нас заботит только наше собственное состояние ума. Мать, утверждающая, что заботится о благополучии сына, на самом деле просто хочет верить, что у её сына всё хорошо — именно эта вера делает её счастливой. Она помогает ему ради собственного счастья, а не ради его». Вы говорите: «Ну, предположим, мать жертвует жизнью, чтобы вытолкнуть сына из-под колёс несущегося грузовика. Это не сделает её счастливой — только мёртвой». Философ на несколько мгновений заминается, а затем отвечает: «Но она всё равно сделала это потому, что ценила этот выбор выше других — из-за ощущения значимости, которое она придавала этому решению».

И тогда вы говорите:

ОШИБКА ТИПА: Не найден конструктор для Ожидаемая_Полезность -> Полезность.

Позвольте мне объяснить этот ответ.

Даже наш простой формализм демонстрирует чёткое различие между ожидаемой полезностью, которой обладают действия, и полезностью, которой обладают исходы. Конечно, и полезности, и ожидаемые полезности можно отобразить на вещественные числа. Но это всё равно что заметить, что скорость ветра и температуру можно отобразить на вещественные числа. Это не делает их одним и тем же.

Философ начинает с утверждения, что все ваши Полезности должны определяться на Исходах, состоящих из вашего состояния ума. Если бы это было так, ваш разум работал бы как двигатель, направляющий будущее в те области, где вы счастливы. Состояния будущего различались бы только вашим состоянием ума; вам было бы совершенно всё равно, какое из двух вариантов будущего выбрать, если у вас в них одинаковое состояние ума.

И в таком случае вы, действительно, вряд ли пожертвовали бы собственной жизнью ради спасения кого-то другого.

Когда мы возражаем, что люди иногда всё-таки жертвуют своими жизнями, ответ философа смещается к обсуждению Ожидаемых Полезностей на Действиях: «Чувство важности, которое она связывала с этим решением». Это резкий скачок, который должен заставить нас в негодовании вскочить со стула. Попытка преобразовать Ожидаемую_Полезность в Полезность вызвала бы явную ошибку в нашем языке программирования. Но в обычном языке всё это звучит одинаково.

Решения нашей простой системы принятия решений — это варианты с максимальной Ожидаемой_Полезностью, но это абсолютно ничего не говорит о том, куда она направляет будущее. Это ничего не говорит о полезностях, которые приписывает тот, кто принимает решение, или о том, какие исходы в реальном мире, скорее всего, наступят в результате. Это ничего не говорит о функции разума как двигателя.

Физическая причина физического действия — это когнитивное состояние (в случае нашего идеального субъекта принятия решений — Ожидаемая_Полезность), и эта ожидаемая полезность вычисляется путём оценки функции полезности на воображаемых последствиях. Чтобы спасти жизнь своего сына, вы должны вообразить событие спасения его жизни, но это воображение — не само событие. Это цитата — как разница между словом «снег» и снегом. Но это не значит, что то, что находится внутри кавычек, само по себе должно быть когнитивным состоянием. Если вы выбираете действие, которое ведёт к будущему, представляемому вами как «мой сын жив», то вы сработали как двигатель, направляющий будущее в область, где ваш сын жив. А не как двигатель, направляющий будущее в область, где вы представляете себе предложение «мой сын жив». Чтобы направить будущее туда, ваша функция полезности должна была бы возвращать высокую полезность при получении на вход «„мой сын жив“» — цитаты в цитате, вашего воображения о собственном воображении. Из рецепта получается плохой пирог, если его раскрошить и замесить в тесто.

И именно поэтому полезно сначала рассмотреть простые системы принятия решений. Подмешайте в систему достаточно сложностей, и некогда чёткие различия станет труднее разглядеть.

Теперь давайте взглянем на некоторые сложности. Очевидно, что функция Полезности (отображающая Исходы на Полезности) призвана формализовать то, что я ранее называл «терминальными ценностями» — ценностями, не зависящими от их последствий. А как быть в случае, когда спасение жизни вашей сестры ведёт к гибели Земли в чёрной дыре? В нашем формализме мы сгладили эту возможность. Исходы не ведут к другим Исходам, только Действия ведут к Исходам. Выздоровление вашей сестры от пневмонии, за которым