Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

мне 50 долларов на консольную игру или отдать их на благотворительность? Организовать ли сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или пустить эти же деньги на противомоскитные сетки и предотвратить смерть от малярии около 200 детей?

Тем не менее, многие отводят глаза от изобилия неприятных моральных компромиссов реального мира — и многие даже гордятся тем, что смотрят в сторону. Исследования показывают, что люди отличают «священные ценности» (такие как человеческие жизни) от «несвященных ценностей» (таких как деньги). Когда вы пытаетесь разменять священную ценность на несвященную, испытуемые выражают крайнее возмущение. (Иногда они даже хотят наказать человека, высказавшего такое предложение.)

Моя любимая история на эту тему связана с группой исследователей, которые оценивали эффективность одного проекта. Подсчитав стоимость одной спасенной жизни, они порекомендовали правительству реализовать проект, поскольку он был экономически эффективным. Правительственное ведомство отклонило отчет, сославшись на то, что человеческую жизнь нельзя оценивать в долларах. Отклонив отчет, ведомство решило не внедрять эту меру.

Размен священной ценности на несвященную ощущается по-настоящему ужасно. Просто перемножать полезности было бы слишком хладнокровно — это означало бы следовать за рациональностью прямо в пропасть...

Но альтруизм — это не то приятное теплое чувство, которое вы испытываете, совершая добрые дела. Если вы делаете это ради духовной выгоды, то это не что иное, как эгоизм. Главное — помогать другим, любыми средствами. Так что заткнитесь и умножайте!

И если вам кажется, что в этой максимизации есть какая-то беспощадность, подобная обнаженному мечу закона или палящему солнцу, если вам кажется, что в самом сердце этой рациональности горит маленькое холодное пламя —

Что ж, возможно, другой путь будет ощущаться приятнее. Но он не сработает.

И я скажу вам еще вот что: если вы отбросите сожаления о несбывшемся душевном удовлетворении, которое могли бы получить, если вы всем сердцем устремитесь по этому Пути, не чувствуя себя обманутыми, если вы отдадите себя рациональности без остатка, то обнаружите, что и рациональность ответит вам взаимностью.

Но эта часть работает лишь в том случае, если вы не будете твердить себе: «Мне было бы спокойнее на душе, будь я хоть немного менее рациональным». Стоит ли грустить оттого, что у вас есть реальная возможность помогать людям? Вы не сможете раскрыть свой потенциал полностью, если будете относиться к своему дару как к бремени.

*

286. «Интуиции», лежащие в основе «утилитаризма».

Раньше я сильно путался в метаэтике. После того как путаница наконец рассеялась, я провел постмортем своих прошлых размышлений. Я обнаружил, что мои моральные рассуждения предметного уровня были ценными, в то время как рассуждения метауровня оказались хуже, чем бесполезными. И это, похоже, общий синдром: люди справляются гораздо лучше, когда обсуждают, хороши пытки или плохи, чем когда они спорят о значении слов «хорошо» и «плохо». Поэтому я считаю разумным удерживать обсуждения морали на предметном уровне везде, где только возможно.

Время от времени люди возражают против любых дискуссий о морали на том основании, что морали не существует, и вместо того, чтобы объяснять, что «существовать» — неподходящее здесь слово, я обычно спрашиваю: «Но что вы всё-таки делаете?» — и возвращаю разговор обратно на предметный уровень.

Пол Гаудер, однако, указал на то, что как идея предпочесть гуголплекс мелких неудобств одному злодеянию, так и идея «утилитаризма» опираются на «интуицию». Он пишет, что я доказывал несовместимость этих двух идей, но упрекает меня в том, что я не обосновал утилитарные интуиции, к которым апеллирую.

Вообще говоря, «интуиция» — это не то слово, которым я бы описал вычисления, лежащие в основе человеческой морали и отличающие нас как моральных агентов от идеального философа абсолютной пустоты и/или от камня. Но я не против использовать слово «интуиция» как специальный термин, помня о том, что «интуицию» в этом смысле не следует противопоставлять разуму; скорее, она представляет собой тот когнитивный кирпичик, из которого строятся как долгие вербальные рассуждения, так и быстрые выводы на основе восприятия.

Я рассматриваю проект морали как проект перенормировки интуиции. У нас есть интуиции о вещах, которые кажутся желательными или нежелательными; интуиции о правильных и неправильных поступках; интуиции о том, как разрешать противоречащие друг другу интуиции; интуиции о том, как систематизировать частные интуиции в общие принципы.

Сотрите все интуиции — и вы получите не идеального философа совершенной пустоты, а обыкновенный камень.

Сохраните все свои частные интуиции и откажитесь опираться на рефлексивные, и вы получите не идеального философа абсолютной спонтанности и искренности, а мычащего пещерного человека, бегающего кругами из-за циклических предпочтений и тому подобных противоречий.

«Интуиция» как специальный термин — вовсе не ругательство, когда речь заходит о морали; ведь больше просто не от чего отталкиваться в рассуждениях. Даже modus ponens в этом смысле является «интуицией» — просто modus ponens всё ещё кажется хорошей идеей после того, как его формализовали, обдумали, экстраполировали, чтобы проверить, приводит ли он к разумным последствиям, и так далее.

Вот что такое «интуиция».

Однако Гаудер не уточнил, что именно он понимает под «утилитаризмом». Утверждает ли утилитаризм, что...

Что правильные поступки строго определяются хорошими последствиями?

Что заслуживающие похвалы поступки зависят от оправданных ожиданий хороших последствий?

Что значимость последствий должна нормативно снижаться пропорционально их вероятности, так что 50-процентная вероятность чего-то плохого должна иметь ровно вдвое меньший вес при принятии решений?

Что добродетельные поступки всегда соответствуют максимизации ожидаемой полезности в рамках некоторой функции полезности?

Что два вредных события хуже, чем одно?

Что два независимых случая причинения вреда (не одному и тому же человеку и никак не связанных друг с другом) ровно в два раза хуже, чем один?

Что для любых двух видов вреда A и B, где A гораздо хуже B, существует некоторая крошечная вероятность, при которой риск получить A с этой вероятностью предпочтительнее, чем гарантированно получить B?

Если вы утверждаете, будто я что-то защищаю или что мой аргумент от чего-то зависит, и что это «что-то» неверно, то, пожалуйста, уточните, о какой именно штуковине речь. Как бы то ни было, я принимаю пункты 3, 5, 6 и 7, но не 4; я не уверен насчет формулировки пункта 1; а пункт 2, пожалуй, верен, но сформулирован довольно солипсически и эгоистично: вам не стоит беспокоиться о том, заслуживаете ли вы похвалы.

Итак, каковы же те «интуиции», на которые опирается мой «утилитаризм»?

Это довольно глубокая тема, но я