Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

с виду. У издателей учебников нет причин намеренно выпускать плохие книги, но они знают, что комитет по закупкам будет сравнивать учебники по количеству охваченных тем, а комитет по закупкам для четвертого класса никак не координирует свои действия с комитетом для третьего класса, поэтому они впихивают в один учебник как можно больше тем. Учителя не пройдут и четверти учебника до конца года, а в следующем году учитель другого класса начнет все сначала. Учителя могут жаловаться, но не они принимают решения, да и на кону в конечном счете не их будущее, что накладывает жесткие ограничения на то, сколько усилий они готовы тратить на неоплачиваемый альтруизм...

Удивительно, если посмотреть на это с такой стороны — учтя всю потерянную информацию и упущенные стимулы, — что от первоначальной цели, получения знаний, вообще хоть что-то остается. Хотя многие образовательные системы сейчас, похоже, находятся в процессе скатывания к состоянию, которое ненамного лучше полного нуля.

Хотите увидеть, как эта проблема решится по-настоящему? Заставьте политиков ходить в школу.

Один человеческий разум способен отслеживать вероятностное ожидание полезности, пока оно протекает через условные шансы дюжины промежуточных событий — включая нелокальные зависимости, то есть случаи, когда ожидаемая полезность открытия двери автомобиля зависит от того, есть ли в супермаркете шоколад. Но организации могут вознаграждать сегодня только то, что измеримо сегодня, что можно прямо сегодня вписать в юридический контракт, а это означает измерение промежуточных событий, а не их отдаленных последствий. Эти промежуточные показатели, в свою очередь, представляют собой дырявые обобщения — зачастую очень дырявые. Бюрократы — ненадежные джинны, поскольку они не разделяют ценностей того, кто загадывает желание.

Миямото Мусаси говорил:1

Когда берешь в руки меч, главное — это твое намерение зарубить врага, какими бы ни были средства. Всякий раз, когда ты парируешь, отбиваешь, уклоняешься, бьешь или касаешься меча противника, ты должен зарубить врага тем же самым движением. Крайне важно достичь этого. Если ты думаешь только о том, чтобы отбить, уклониться, ударить или коснуться противника, ты не сможешь по-настоящему зарубить его. Прежде всего ты должен думать о том, чтобы довести свое движение до конца и зарубить его. Вы должны тщательно исследовать это.

(Жаль, что я не живу в эпоху, когда мог бы просто сказать своим читателям, что они должны тщательно исследовать вопрос, не нанося им этим оскорбления.)

Почему отдельный человек может потерять из виду свою цель в бою на мечах? Если его учил драться кто-то другой, если он не породил все это искусство внутри самого себя, он может не понимать причин, по которым в один момент нужно парировать, а в другой — уклоняться; он может не осознавать, когда из правил бывают исключения, и не замечать моментов, когда привычный метод не позволит разрубить соперника.

Суть искусства эпистемической рациональности состоит в том, чтобы понимать, как каждое правило тем же самым движением прорубает путь к истине. Соответствующая суть прагматической рациональности (теории решений, в отличие от теории вероятностей) — всегда видеть, как любое ожидание полезности прорубает путь к самой полезности. Вы должны тщательно исследовать это.

К. Дж. Черри сказала:2

У твоего меча нет клинка. Есть только твое намерение. Когда оно сбивается с пути, у тебя нет оружия.

Я видел многих людей, сбивавшихся с пути, когда они загадывали желания джинну воображаемого ИИ, выдумывая одно за другим желания, казавшиеся им хорошими, порой снабжая их кучей заплаток, а порой обходясь и вовсе без этой видимости осторожности. И они не переходят на метауровень. Они не смотрят инстинктивно на саму цель — этот инстинкт в возрасте пяти лет и направил меня по пути к атеизму. Они не спрашивают себя, как рефлекторно спрашиваю я: «Почему я считаю это желание хорошей идеей? Рассудит ли джинн так же?» Они не видят источника собственного суждения, незримо стоящего за ним в качестве его генератора. Они упускают мяч из виду; они знают, что мяч отскочил, но у них нет инстинктивного желания оглянуться и посмотреть, откуда он отскочил, — то есть увидеть критерий, породивший их суждения.

Точно так же люди автоматически не замечают, как якобы эгоистичные люди приводят альтруистические аргументы в пользу эгоизма, а якобы альтруистичные — эгоистичные аргументы в пользу альтруизма.

Люди прекрасно справляются с отслеживанием целей при поездке в супермаркет — если всё это целиком происходит у них в голове, без участия джиннов, бюрократии или философии. Беда в том, что реальная цивилизация устроена неизмеримо сложнее. Десятки организаций и десятки лет вклиниваются между ребенком, страдающим за школьной партой, и новоиспеченным выпускником вуза, который не слишком хорошо справляется со своей работой. (Но заметит ли интервьюер или менеджер, если выпускник умеет искусно создавать видимость занятости?) С каждым новым звеном, встающим между действием и его последствием, у намерения появляется еще одна возможность сбиться с пути. С каждым промежуточным звеном теряется информация, теряется стимул. И большинство людей это беспокоит гораздо меньше, чем меня — иначе почему все мои одноклассники соглашались читать молитвы, не понимая их смысла? Они не чувствовали того же инстинктивного стремления смотреть на сам генератор.

Могут ли люди научиться не упускать мяч из виду? Не давать своему намерению сбиться с пути? Никогда не уклоняться, не наносить ударов и не касаться противника, не зная высшей цели, которую они достигнут тем же движением? Люди действительно часто хотят делать свою работу, при прочих равных. Может ли существовать разумная корпорация? Или даже разумная цивилизация? Это лишь далекая мечта, но именно к этому я вел во всех этих эссе о потоке намерений (он же ожидаемая полезность, она же инструментальная ценность) без утраты цели (она же полезность, она же терминальная ценность). Могут ли люди научиться чувствовать поток родительских и дочерних целей? Понимать как сознательно, так и подспудно разницу между ожидаемой полезностью и полезностью?

Заботят ли вас угрозы вашей цивилизации? Худшая метаугроза для сложной цивилизации — это её собственная сложность, ибо это усложнение ведёт к утрате многих целей.

Оглядываясь назад, я вижу, что более всего остального моей жизнью двигало исключительно сильное отвращение к утраченным целям. Надеюсь, его можно превратить в приобретаемый навык.

*

1. Миямото Мусаси, «Книга пяти колец» (New Line Publishing, 2003).

2. Кэролайн Дж. Черри, «Паладин» (Baen, 2002).

Часть N. Человеческое руководство по словам.

153. Притча о кинжале. (По мотивам Рэймонда Смаллиана.1). Жил-был однажды придворный