Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

благодаря которым выбор «ощущается правильным», не слишком умело справляются с вероятностными путями во времени, особенно когда вероятности выражены символически, а не пережиты на опыте в виде частоты. Поэтому вы размышляете, создаете более надежную логику и обдумываете все на словах.

Когда вы видите людей, утверждающих, будто никакие деньги мира не стоят даже одной человеческой жизни, а затем проезжающих лишнюю милю, чтобы сэкономить 10 долларов; или когда вы видите людей, заявляющих, что никакие деньги не стоят ухудшения здоровья, а затем выбирающих самую дешевую медицинскую страховку; вы не думаете, что их громкие заверения раскрывают глубокую истину о несоизмеримых полезностях.

Очевидно, отчасти дело в том, что примитивные интуиции не способны ослабить эмоциональное воздействие символов, обозначающих малые величины: любая вещь, о которой заходит речь, кажется «величиной, заслуживающей внимания».

А отчасти это связано с тем, что люди предпочитают безусловные социальные правила условным. Условные правила кажутся более слабыми, более уязвимыми для манипуляций. Если существует хоть какая-то лазейка, позволяющая правительству легально применять пытки, правительство проедет через эту лазейку на танке.

Поэтому кажется, будто должен существовать безусловный социальный запрет на предпочтение денег жизни, без всяких последующих «но». Даже без «но тысяча долларов не стоит вероятности в 0,0000000001% спасти жизнь». Хотя этот последний выбор, конечно, проявляется всякий раз, когда мы чихаем и не вызываем врача.

Риторика священного получает дополнительные очки за то, что кажется выражением безграничной преданности, безусловного отказа, который сигнализирует о надежности и бескомпромиссности. Поэтому вы делаете вывод, что моральная риторика отстаивает качественные различия, ведь предложение количественного компромисса звучало бы так, будто вы замышляете предательство.

В таких случаях люди изо всех сил стремятся выбросить любые количественные оценки за борт и сердятся, если вы пытаетесь вернуть их на место, потому что числа звучат как условия, которые ослабят правило.

Но вы не делаете вывод, что на самом деле существуют два уровня полезности с лексикографическим упорядочением. Вы не делаете вывод, что существует бесконечно крутой моральный градиент — некий атом, сдвигающийся на планковское расстояние (в нашей непрерывной физической вселенной) и устремляющий полезность от нуля в бесконечность. Вы не делаете вывод, что полезность должна выражаться в гипервещественных числах. Ведь нижний уровень просто исчез бы в любом уравнении. Ради него никогда не стоило бы прилагать ни малейших усилий для пересчета. Все решения определялись бы исключительно верхним уровнем, и все мысли были бы заняты только им, если бы верхний уровень действительно обладал лексикографическим приоритетом.

Как однажды заметил Питер Норвиг, если бы роботы Азимова имели строгий приоритет Первого закона робототехники («Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»), то поведение ни одного робота никогда бы не демонстрировало признаков соблюдения двух других законов; всегда существовал бы какой-нибудь крошечный фактор Первого закона, которого было бы достаточно для того, чтобы определить решение.

Любая ценность, о которой вообще стоит думать, должна допускать размен на все остальные ценности, о которых стоит думать, поскольку само мышление — это ограниченный ресурс, который тоже приходится распределять. Выявляя ценность, вы выявляете полезность.

Я не утверждаю, что мораль всегда должна быть простой. Я уже говорил, что смысл музыки не сводится к одному лишь счастью или к простой активации центра удовольствия. Я бы предпочел, чтобы музыку сочиняли люди, а не лишенные сознания алгоритмы машинного обучения, чтобы хоть кто-то испытывал радость творчества; мне важен сам путь, а не только цель. И я готов выслушать вас, если вы скажете мне, что ценность музыки глубже и устроена сложнее, чем я думаю, — что оценка этого единичного события намного сложнее, чем мне известно.

Но это касается одного события. Когда же дело доходит до умножения на масштабы и вероятности, усложнений следует избегать — по крайней мере, если конечная цель для вас важнее, чем сам путь. Когда вы осмыслите достаточное количество интуитивных реакций и устраните достаточно нелепостей, вы начнете видеть общий знаменатель, работающий метапринцип, который можно сформулировать как «Заткнись и умножай».

В том, что касается музыки, мне важен сам путь.

Когда на кону стоят жизни, я затыкаюсь и умножаю.

Куда важнее, чтобы жизни были спасены, чем то, чтобы мы соблюдали какой-то особый ритуал при их спасении. И оптимальный путь к этой цели подчиняется законам, которые просты, потому что это математика.

И именно поэтому я утилитарист — по крайней мере тогда, когда делаю что-то, что несоизмеримо важнее моих собственных чувств на этот счет — то есть почти всегда, ведь утилитаристов мало, а несделанных дел еще очень много.

*

1. Пол Словик, «Онемевшие от цифр», Foreign Policy (март 2007), http://foreignpolicy.com/2007/03/13/numbed-by-numbers/.

287. Цель не оправдывает средства (у людей). «Если цель не оправдывает средства, то что же тогда их оправдывает?» — приписывается разным авторам. «Я думаю о себе как о программе, работающей на враждебном железе». — Джастин Корвин.

Возможно, в ходе эволюции у людей сформировался паттерн политической революции, когда все начинается с убежденности в своем моральном превосходстве над коррумпированной властной верхушкой, а заканчивается тем, что они сами оказываются развращены властью — и происходит это вовсе не из-за какого-то сознательного плана в их головах, а из-за эха предков, которые поступали точно так же и благодаря этому оставили потомство.

Это укладывается в шаблон:

В некоторых случаях люди эволюционировали таким образом, чтобы считать, будто они совершают действие X ради просоциальной причины Y, однако когда люди действительно совершают X, срабатывают другие адаптации, способствующие получению выгодного для них самих результата Z.

От этого утверждения я перейду к вопросу, который лежит далеко за пределами классической байесовской теории принятия решений:

Что, если я запущен на испорченном железе?

В таком случае вы можете обнаружить, что произносите утверждения, которые кажутся парадоксальными — и выглядят полнейшей нелепицей с точки зрения классической теории принятия решений, — например:

Цель не оправдывает средства.

Но если вы запущены на испорченном железе, то рефлексивное наблюдение, согласно которому захват власти кажется вам благородным и альтруистичным поступком, — эта кажимость вряд ли может служить сильным доказательством того, что захват власти действительно принесет племени наибольшую пользу.

В силу наивного реализма испорченное железо, на котором вы работаете, и вычисляемые им искаженные кажимости будут казаться самой тканью реальности — просто тем, как все устроено на самом деле.

И в итоге мы получаем кажущееся странным правило: «Ради блага племени не прибегай к обману ради