Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И куда же делись «инструментальные ценности» в этом простом формализме? На самом деле они полностью исчезли! Видите ли, в этом формализме действия ведут напрямую к исходам, без каких-либо промежуточных событий. Здесь нет понятия о том, что можно бросить камень, который полетит по воздуху, собьёт яблоко с ветки, и то упадёт на землю. Бросок камня — это Действие, и оно ведёт прямиком к Исходу «яблоко лежит на земле» — в соответствии с функцией условной вероятности, которая превращает Действие непосредственно в Распределение вероятностей на Исходах.

Для того чтобы действительно вычислить функцию условной вероятности, а также для того чтобы отдельно рассматривать полезность пневмонии у сестры и поглощения Земли чёрной дырой, нам пришлось бы представить сетевую структуру причинности — то, как одни события ведут к другим.

И тогда инструментальные ценности начали бы возвращаться. Если бы причинно-следственная сеть была достаточно регулярной, вы могли бы обнаружить состояние B, которое, как правило, ведёт к C, независимо от того, как именно вы достигли B. Тогда, если бы вы по какой-то причине захотели достичь C, вы могли бы эффективно планировать, сначала найдя такое B, которое ведёт к C, а затем такое A, которое ведёт к B. Это и было бы феноменом «инструментальной ценности» — B обладало бы «инструментальной ценностью», потому что вело к C. Само состояние C могло бы быть терминальной ценностью — членом функции полезности общего исхода. Или же C могло бы быть просто инструментальной ценностью, узлом, который не оценивается функцией полезности напрямую.

Инструментальная ценность в этом формализме — исключительно подспорье для эффективного вычисления планов. От неё можно и нужно отказываться везде, где подобной регулярности не существует.

Предположим, например, что существует некое конкретное значение B, которое не ведёт к C. Выбрали бы вы такое A, которое ведёт к этому B? Или ладно, оставим абстрактную философию: если бы вы хотели поехать в супермаркет за шоколадом, и хотели поехать туда на машине, и вам нужно было бы попасть внутрь машины, стали бы вы открывать её, срывая дверь паровым экскаватором? (Нет.) Инструментальная ценность — это «дырявая абстракция», как говорим мы, программисты; иногда приходится отбрасывать кэшированное значение и вычислять фактическую ожидаемую полезность. Быть эффективным, не будучи при этом самоубийцей, — значит в том числе замечать, когда удобные короткие пути перестают работать. Хотя этот формализм и порождает инструментальные ценности, он делает это лишь там, где существует необходимая регулярность, и строго в качестве удобного упрощения вычислений.

Но если усложнить формализм до того, как вы поймёте его простую версию, то можно начать думать, будто инструментальные ценности живут какой-то своей странной жизнью, даже в нормативном смысле. Будто, раз заявив, что B обычно хорошо, потому что ведёт к C, вы тем самым обязуетесь всегда стремиться к B, даже в отсутствие C. Люди совершают подобные ошибки в абстрактной философии, хотя в реальной жизни никогда бы не стали вскрывать дверь своей машины паровым экскаватором. Вы можете начать думать, будто невозможно создать консеквенциалиста, максимизирующего исключительно совокупную приспособленность, поскольку он умрёт с голоду, если вы не включите в него явную терминальную ценность «потребление пищи». Люди совершают эту ошибку, хотя сами никогда не стояли бы целыми днями у дверей машины, открывая их из страха остаться снаружи из-за отсутствия терминальной ценности для открывания автомобильных дверей.

Инструментальные ценности живут в (сетевой структуре) функции условной вероятности. Это делает инструментальную ценность строго зависимой от фактических убеждений при заданной фиксированной функции полезности. Если я считаю, что пенициллин вызывает пневмонию, а отсутствие пенициллина её лечит, то воспринимаемая мной инструментальная ценность пенициллина упадёт с высокой до низкой. Измените фактические убеждения — измените функцию условной вероятности, связывающую действия с ожидаемыми последствиями, — и инструментальные ценности изменятся соответственно.

В моральных спорах некоторые разногласия касаются инструментальных последствий, а некоторые — терминальных ценностей. Если ваш оппонент в дискуссии говорит, что запрет на оружие приведёт к снижению уровня преступности, а вы утверждаете, что запрет приведёт к росту преступности, то вы согласны в отношении вышестоящей инструментальной ценности (преступность — это плохо), но расходитесь во мнениях о том, какие промежуточные события ведут к каким последствиям. Но я не думаю, что спор о женском обрезании — это действительно спор о фактах, касающийся того, как наилучшим образом достичь общей ценности справедливого отношения к женщинам или стремления сделать их счастливыми.

Это важное различие часто сливают в унитаз в пылу яростных споров. Люди с расхождениями во взглядах на факты, но с общими ценностями, решают, что их оппоненты — непременно социопаты. Как будто ваши заклятые враги — сторонники или противники контроля над оружием — действительно хотят убивать людей, что с точки зрения реалистичной психологии крайне маловероятно.

Боюсь, человеческий мозг не поддерживает строгую типизацию для различий между терминальными и инструментальными моральными убеждениями. Убеждения «Мы должны запретить оружие» и «Мы должны спасать жизни» не ощущаются по-разному как моральные убеждения — не так, как зрение отличается по ощущениям от слуха. Несмотря на все остальные способы, которыми человеческая система целей усложняет всё вокруг, именно это одно различие ей удаётся превратить в мешанину из вещей с условной ценностью.

Чтобы вычленить терминальные ценности, нам приходится исследовать эту мешанину ценных вещей, пытаясь понять, какие из них заимствуют свою ценность из другого источника. Это трудная задача! Если вы говорите, что хотите запретить оружие ради снижения преступности, может потребоваться некоторое время, чтобы осознать, что «снижение преступности» — это не терминальная ценность, а вышестоящая инструментальная ценность, связанная с терминальными ценностями человеческих жизней и человеческого счастья. А у сторонника прав на оружие могут быть связи с вышестоящей инструментальной ценностью «снижения преступности» плюс связь с ценностью «свободы», которая для него может быть как терминальной ценностью, так и ещё одной инструментальной ценностью...

Мы не можем распечатать всю нашу сеть ценностей, выведенных из других ценностей. Мы, вероятно, даже не храним всю историю того, как эти ценности там появились. Рассматривая правильные моральные дилеммы вида «сделали бы вы X, если бы Y», мы часто можем понять, откуда взялись наши ценности. Но даже этот проект полон подводных камней: обманчивых дилемм и изобилующих пробелами философских аргументов. Мы не знаем, каковы наши собственные ценности или откуда они взялись, и не можем выяснить этого иначе, как затеяв чреватые ошибками раскопки в области когнитивной археологии. Простое сознательное разграничение «терминальной ценности» и «инструментальной ценности», отслеживание того, что это значит, и правильное