Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

271. Изменение вашей метаэтики

272. Может ли хоть что-то быть правильным?

273. Мораль как фиксированное вычисление

274. Магические категории

275. Настоящая дилемма заключенного

276. Сопереживающие разумы

277. Серьезный вызов

278. Серьезные истории

279. Ценность хрупка

280. Дар, который мы приносим завтрашнему дню

W. Количественный гуманизм

281. Нечувствительность к масштабу

282. Одна жизнь против всего мира

283. Парадокс Алле

284. Черт побери, Алле!

285. Ощущение собственной добродетельности

286. «Интуиции», лежащие в основе «утилитаризма»

287. Цель не оправдывает средства (у людей)

288. Этические предписания

289. То, что нужно защищать

290. Когда (не) следует использовать вероятности

291. Задача Ньюкома и сожаление о рациональности

Интерлюдия: Двенадцать добродетелей рациональности

Interlude: Twelve Virtues of Rationality

Цели: Введение.

Роба Бензингера

Теория ценностей изучает то, что людям небезразлично. Она исследует наши цели, наши вкусы, наши радости и страдания, наши страхи и наши амбиции.

Сюда входит и общепринятая мораль. Теория ценностей охватывает то, что нам хотелось бы ценить, или то, что мы ценили бы, будь мы мудрее и лучше как люди, — а не только то, что нам небезразлично уже сейчас.

Теория ценностей также охватывает обыденные, повседневные ценности: искусство, еду, секс, дружбу и всё остальное, что придаёт жизни её аффективную валентность. Поход в кино с вашим другом Сэмом может быть для вас ценностью, даже если это не моральная ценность.

Мы находим полезным размышлять о наших ценностях и спорить о них, потому что то, как мы действуем, не всегда совпадает с тем, как нам хотелось бы действовать. Наши предпочтения могут вступать в конфликт друг с другом. Мы можем желать иметь иной набор желаний. Нам может не хватать воли, внимания или понимания, необходимых для того, чтобы поступать так, как нам хотелось бы.

Людям действительно небезразличны последствия их действий, но не настолько последовательно, чтобы формально соответствовать определению агентов с функцией полезности. Тот факт, что люди действуют не так, как им самим хотелось бы, мы и имеем в виду, когда говорим: «люди инструментально нерациональны».

Теория и практика

Вдобавок ко всем трудностям, существует пропасть между тем, как мы думаем, будто хотели бы поступать, и тем, как мы на самом деле хотели бы поступать.

Философы яростно спорят о том, чего мы хотим — как и психологи, и политики, — а также о том, чего мы должны хотеть. Они расходятся во мнениях даже относительно того, что вообще значит «должен» хотеть чего-то. История теории морали, как и история человеческих попыток координации, усыпана трупами несостоявшихся Руководящих Принципов Истинной Окончательной Нет-Правда-В-Этот-Раз-Я-Серьёзно Нормативности.

Если вы пытаетесь выработать надёжную и практически полезную спецификацию своих целей — не просто для победы в философских спорах, но, скажем, для проектирования безопасного автономного адаптивного ИИ, создания дееспособных институтов и организаций, облегчения выбора благотворительного фонда для пожертвований или для понимания того, какие добродетели вам следует в себе развивать, — то исторический опыт человечества в теории ценностей не сулит вам ничего хорошего.

Книга «Просто добро» объединяет три цепочки постов о человеческих ценностях: «Ложные предпочтения» (о неудачных попытках построить теории ценностей), «Теория ценностей» (о препятствиях на пути к созданию новой теории и некоторых её интуитивно привлекательных чертах) и «Квантифицированный гуманизм» (о непростом вопросе, как нам следует применять подобные теории к нашим повседневным моральным интуициям и принятию решений).

Последняя из этих тем — самая важная. Практическая ценность нормативной теории определяется тем, насколько хорошо она претворяется в нормативную практику. Более глубокое и полное понимание своих ценностей должно помогать вам лучше воплощать их в жизнь. Как минимум, ваша теория не должна мешать вашей практике. Что толку тогда знать, что такое благо?

Согласование этого искусства прикладной этики (а также прикладной эстетики, прикладной экономики и прикладной психологии) с нашими лучшими научными данными и теориями часто сводится к вопросу о том, когда нам следует доверять своим мгновенным суждениям, а когда — отбрасывать их.

Во многих случаях наши эксплицитные модели того, что нам важно, столь шатки или непрактичны, что нам лучше довериться смутным первоначальным порывам. Во многих других случаях мы можем добиться большего успеха с помощью более информированного и систематического подхода. Универсального ответа не существует. Нам просто придётся внимательно разбирать примеры и учиться замечать различные тревожные знаки в духе «здесь обычно пасуют сложные теории» и «здесь обычно пасуют наивные чувства».

Путь и цель

Сквозной темой на следующих страницах будет вопрос: Куда нам идти? Какие результаты ценны на самом деле?

Для ответа на этот вопрос Юдковский ввёл термин «теория веселья». Теория веселья — это попытка понять, как выглядел бы наш идеальный образ будущего: не просто система государственного управления или моральный кодекс, при которых мы хотели бы жить, но и то, в какие приключения мы хотели бы пускаться, какую музыку сочинять и всё остальное, чего мы в конечном счёте хотим от жизни.

В перспективе будущего вопросы теории веселья пересекаются с вопросами трансгуманизма — убеждения, что мы можем радикально улучшить положение человека, если добьемся достаточного научного и социального прогресса.1 Трансгуманизм порождает ряд споров в моральной философии, например, о том, должны ли наилучшие долгосрочные результаты для разумной жизни основываться на гедонизме (стремлении к удовольствиям) или на более сложных концепциях эвдемонии (общего благополучия). Среди других футурологических идей, обсуждаемых в книге «Рациональность: от ИИ до зомби», — крионика (сохранение тела в замороженном состоянии после смерти на случай, если медицинские технологии будущего позволят вас оживить), загрузка сознания (перенос человеческого разума на искусственные носители) и масштабное освоение космоса.

Возможно, это прозвучит неожиданно, но теория веселья — одно из наиболее обделённых вниманием применений теории ценностей. Проектирование утопий изрядно вышло из моды — отчасти потому, что оно отдает наивностью, а отчасти потому, что на практике мы из рук вон плохо умеем воплощать утопии в реальность. Даже само слово «утопия» отражает этот скептицизм: оно происходит от греческого «место, которого нет».

И всё же, если мы откажемся от поисков истинной, осуществимой утопии (или эвтопии, «хорошего места»), вовсе не очевидно, что кумулятивный эффект наших краткосрочных стремлений приведёт к будущему, которое мы сочтём ценным в долгосрочной перспективе. Ценность не является неизбежным свойством мира. Её создание требует труда.