Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Лучше всего это можно сформулировать так: моя моральная интуиция, судя по всему, требует обоих компонентов — объективного и субъективного, — чтобы считать ценность полной.

Ценность научного открытия требует как подлинного научного открытия, так и человека, который будет радоваться этому открытию. Разделить эти ценности может показаться непростым делом, но пример с таблетками вносит ясность.

Меня бы встревожило, если бы люди уходили в голодеки и влюблялись в безмозглые обои. Меня бы это встревожило, даже если бы они и не подозревали, что находятся в голодеке, что представляет собой важную этическую проблему, если некие агенты теоретически способны переносить людей в голодеки и заменять их близких зомби без их ведома. И снова таблетки помогают прояснить ситуацию: меня волнует не только моё собственное знание об этом неприятном факте. Я бы не стал помещать себя в голодек, даже если бы мог потом принять таблетку, чтобы забыть об этом. Просто я пытаюсь направить будущее совсем не в эту сторону.

Я ценю свободу: когда я решаю, куда направлять будущее, я учитываю не только субъективные состояния, в которых в итоге оказываются люди, но и то, пришли ли они к ним в результате собственных усилий. Наличие или отсутствие внешнего кукловода способно повлиять на мою оценку исхода, в остальном идентичного. Даже если бы люди не знали, что ими манипулируют, это повлияло бы на мою оценку того, насколько успешно человечество распорядилось своим будущим. Это важный этический вопрос, если вы имеете дело с агентами, достаточно могущественными, чтобы незаметно для людей благожелательно корректировать их будущее.

Так что мои ценности не сводятся строго к счастью: в будущем есть свойства, которые я ценю и которые не сводятся к уровню активации чьего-либо центра удовольствия; свойства, которые даже в принципе не сводимы строго к субъективным состояниям.

А это значит, что моя система принятия решений содержит множество терминальных ценностей, и ни одна из них строго не сводится к чему-то ещё. Искусство, наука, любовь, вожделение, свобода, дружба…

И меня это устраивает. Я ценю жизнь, достаточно сложную, чтобы быть полной вызовов и эстетичной — не просто ощущение, что жизнь сложна, а её реальные сложности — поэтому превращение в центр удовольствия в колбе меня не привлекает. Это было бы пустой тратой потенциала человечества, фактическое раскрытие которого я ценю, а не просто ощущение того, что он раскрыт.

*

1. Харрис, Конец веры: религия, террор и будущее разума.

258. Фальшивый эгоизм.

Однажды я встретил человека, который провозглашал себя чистым эгоистом и утверждал, что мне тоже следует быть чистым эгоистом. В тот день я был в озорном настроении1, поэтому сказал: «Я заметил, что для большинства религиозных людей — по крайней мере тех, кого я встречал, — не так уж важно, что именно говорит их религия, потому что они могут найти религиозное оправдание для любого своего желания. Их религия велит побивать неверных камнями, но им хочется быть добрыми к людям, поэтому они находят этому религиозное оправдание. Мне кажется, что когда люди принимают философию эгоизма, это никак не влияет на их поведение, потому что всякий раз, когда им хочется проявить доброту к кому-то, они могут обосновать это эгоистическими соображениями».

И тот сказал: «Не думаю, что это так».

Я спросил: «Если вы по-настоящему эгоистичны, то почему вы хотите, чтобы я тоже был эгоистом? Разве это не означает, что вы заботитесь о моем благополучии? Разве вы не должны пытаться убедить меня стать большим альтруистом, чтобы вы могли меня эксплуатировать?» Тот ответил: «Ну, если вы станете эгоистом, вы поймете, что в ваших рациональных личных интересах играть продуктивную роль в экономике, а не принимать, к примеру, законы, посягающие на мою частную собственность».

И я сказал: «Но я уже либертарианец с маленькой буквы, так что я не собираюсь поддерживать эти законы. И поскольку я считаю себя альтруистом, я выбрал работу, которая, как я рассчитываю, принесет пользу многим людям, в том числе и вам, вместо более высокооплачиваемой работы. Неужели вы и правда получили бы от меня больше выгоды, если бы я стал эгоистом? Кроме того, разве попытка убедить меня стать эгоистом — это самое эгоистичное занятие, которому вы могли бы посвятить себя? Разве нет других дел, на которые вы могли бы потратить свое время с гораздо большей и более прямой выгодой для себя? Но вот что мне действительно хочется узнать: вы сначала подумали, что хотите быть эгоистом, а затем решили, что это самое эгоистичное из всего, что вы можете сделать? Или же вы сначала захотели обратить других в эгоизм, а потом стали искать способы рационализировать это как выгодное для себя дело?»

И тот ответил: «Пожалуй, насчет последнего вы правы», так что я мысленно записал его в умные.

*

1. Другие озорные вопросы, которые можно задать самопровозглашенным эгоистам: «Пожертвовали бы вы собственной жизнью, чтобы спасти все человечество?» (Если они заметят, что их собственная жизнь строго входит в понятие «все человечество», вы можете уточнить условия: они могут выбирать между мгновенной смертью ради спасения Земли и возможностью прожить в комфорте еще один год, а затем погибнуть вместе с Землей). Или, принимая во внимание, что нечувствительность к масштабу заставляет многих людей больше беспокоиться об одной жизни, чем о Земле: «Если бы вам пришлось выбирать между двумя событиями, что бы вы предпочли: ушибить палец на ноге или чтобы вон того незнакомца у стены жестоко пытали в течение пятидесяти лет?» (Если они ответят, что им будет эмоционально тяжело от этого знания, уточните, что они о пытках не узнают). «Украли бы вы тысячу долларов у Билла Гейтса, если бы вам гарантировали, что ни он, ни кто-либо другой никогда об этом не узнает?» (Только для эгоистичных либертарианцев).

259. Фальшивая мораль.

Бог, как говорят религиозные фундаменталисты, — источник всей морали; никакой морали не может существовать без Судьи, который вознаграждает и наказывает. Если бы мы не боялись ада и не жаждали рая, то что удерживало бы людей от того, чтобы убивать друг друга направо и налево?

Представьте, что Омега выдвигает вполне убедительную угрозу: если вы когда-нибудь зайдёте в туалет между 7 и 10 часами утра, Омега вас убьёт. Охватит ли вас паника при мысли о