Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

дело доходит до понимания чужого разума. Агенту незачем ставить себя на чужое место; он может просто моделировать чужой разум напрямую. Гипотеза, как и любая другая, только покрупнее. Вам ведь не нужно становиться собственной обувью, чтобы понимать свою обувь.

А сочувствие? Ну, предположим, мы имеем дело с максимизатором ожидаемых скрепок, но таким, который пока ещё недостаточно могущественен, чтобы всё шло исключительно по его воле, — ему приходится взаимодействовать с людьми, чтобы получать свои скрепки. И вот скрепочный агент… моделирует этих людей как значимые части внешней среды, моделирует их вероятные реакции на различные стимулы и совершает действия, которые заставят людей в будущем относиться к нему благосклонно.

Для максимизатора скрепок люди — это просто машины с нажимаемыми кнопками. Нет никакой нужды чувствовать то, что чувствует другой, — если это вообще возможно при столь колоссальном различии во внутренней архитектуре. С какой стати максимизатору ожидаемых скрепок «радоваться», видя человеческую улыбку? «Счастье» — это идиома обучения стратегий с подкреплением, а не максимизации ожидаемой полезности. Максимизатор скрепок не испытывает радости, когда штампует скрепки; он просто выбирает действие, которое, согласно прогнозу, приведёт к наибольшему ожидаемому числу скрепок. Хотя максимизатору скрепок может показаться удобным изобразить улыбку при создании скрепок, — чтобы облегчить манипулирование людьми, которые сочли его другом.

Вам может быть трудновато вообразить подобный алгоритм — поставить себя на место чего-то, что функционирует совсем не так, как вы, и не похоже ни на один режим, в который ваш мозг способен себя переключить.

Вы можете переключить свой мозг в режим ненависти к врагу, но это тоже не то. Чтобы представить себе, как истинно лишённый сочувствия разум видит человека, представьте себе полезную машину с рычагами. Не человекоподобной машиной — ведь на этот счёт у нас есть инстинкты. Просто какой-нибудь циркулярной пилой. Одни рычаги заставляют машину выдавать монеты, другие могут спровоцировать её на выстрел. У машины действительно есть устойчивое внутреннее состояние, и вам нужно нажимать на рычаги в правильном порядке. Но как бы то ни было, это просто сложная причинно-следственная система — в ней нет ничего ментального по своей сути.

(Чтобы понять лишённые сочувствия процессы оптимизации, я бы порекомендовал изучить естественный отбор, который не утруждает себя анестезией смертельно раненных и умирающих существ, даже когда их боль больше не служит репродуктивным целям, поскольку и само обезболивание не принесло бы никакой пользы для размножения.)

Вот почему я ставлю «сочувствие» даже выше «скуки» в своём списке качеств, необходимых для того, чтобы пришельцы были хоть в малейшей степени, прошу прощения за тавтологию, сочувствующими. Вполне возможно, что способность сочувствовать присуща значительной доле всех эволюционировавших инопланетных разумных видов; зеркальные нейроны кажутся такой вещью, которая, возникнув однажды, могла бы возникнуть снова.

Лишённые сочувствия пришельцы могли бы стать торговыми партнерами — а могли бы и не стать; звёзды и прочие ресурсы везде во Вселенной примерно одинаковы. Мы могли бы заключать с ними договоры, и они соблюдали бы их из расчётливого страха перед возмездием. Мы могли бы даже выбирать сотрудничество в Дилемме заключённого. Но мы никогда не стали бы друзьями. Они никогда не видели бы в нас ничего, кроме средства для достижения цели. Они никогда не пролили бы по нам ни единой слезы и не разделили бы улыбкой нашу радость. Да и к представителям своего собственного вида они относились бы точно так же, совершенно не чувствуя, что упускают из-за этого что-то важное.

Такие пришельцы были бы варелизами, а не раменами — теми инопланетянами, с которыми невозможно найти ничего общего на личном уровне, да и пытаться незачем.

*

277. Серьёзный вызов.

Существует своего рода пророчество, которое гласит: «В будущем машины будут делать всю работу. Всё будет автоматизировано. Даже труд, который мы сейчас считаем „интеллектуальным“, например инженерное дело, перейдёт к машинам. Мы сможем сложа руки владеть капиталом. Вам больше никогда и пальцем не придётся пошевелить».

Но разве людям тогда не станет скучно?

Нет, они смогут играть в компьютерные игры — конечно, не в наши игры, а в куда более продвинутые и увлекательные.

Но погодите! Купив современную компьютерную игру, вы обнаружите, что в ней есть задачи, которые — мягко говоря — требуют усилий. (Я бы даже сказал «сложные», с поправкой на то, что речь идёт о чём-то, что занимает десять минут, а не десять лет).

Так что в будущем у нас появятся программы, которые помогают играть — берут управление на себя, если вы застряли в игре или просто заскучали, либо позволяют вам играть в игры, которые иначе оказались бы для вас слишком сложными.

Но разве здесь нет бесполезной траты сил? Зачем одному программисту трудиться над тем, чтобы сделать игру сложнее, а другому — над тем, чтобы её упростить? Почему бы просто не сделать игру проще с самого начала? Поскольку вы играете ради золота и очков опыта, упрощение игры позволит вам получать больше золота в единицу времени: игра станет увлекательнее.

Вот он — конечный итог пророчества о технологическом прогрессе: вечно смотреть на экран с надписью «ВЫ ПОБЕДИЛИ».

И, возможно, мы построим робота, который будет делать и это.

Что тогда?

Мир машин, которые выполняют всю работу... Что ж, я не хочу говорить, что он «аналогичен христианскому Раю», поскольку в нём нет ничего сверхъестественного; в принципе, его можно реализовать. Религиозными аналогиями слишком уж легко бросаться в качестве обвинений... Но, не подразумевая никаких других сходств, я скажу, что он кажется аналогичным в том смысле, что вечная праздность «звучит как хорошая новость» для вас нынешнего, которому всё ещё приходится работать.

Что же касается игр в качестве замены — что вообще есть компьютерная игра, как не синтетический труд? Нет ли здесь лишнего шага? (И компьютерные игры в их нынешнем виде, если рассматривать их как работу, имеют различные аспекты, снижающие стресс и повышающие вовлечённость; но они также несут в себе издержки в виде искусственности и изоляции).

Иногда мне кажется, что футуристические идеалы, сформулированные как «избавление от работы», лучше перефразировать как «устранение низкокачественной работы, чтобы освободить место для высококачественной работы».

Существует широкий класс целей, которые не годятся на роль долгосрочного смысла жизни, потому что их можно реально достичь, и на этом всё закончится.

Посмотрев на это иначе: если мы ищем подходящий долгосрочный смысл жизни, нам следует искать цели, к которым хорошо стремиться, а не