Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

что это плохо». Но точно так же вам не следует пытаться отказаться от Бритвы Оккама при оценке вероятности того, что Бритва Оккама работает, и не следует пытаться оценивать вопрос «Плохо ли убивать?» из какой-то точки вне вашего собственного мозга. Не существует идеального, абсолютно пустого студента-философа, до состояния которого вы могли бы себя размотать — попытайтесь найти безупречный камень, чтобы на него встать, и вы сами превратитесь в камень. Так что лучше используйте всю силу своего интеллекта, всю свою рациональность и всю свою мораль, исследуя собственные основы.

Мы также можем подготовить путь для отступления тем, кто боится признать причинную роль эволюции в объяснении того, как возникла мораль. (Заметьте, что это принципиально отличается от наделения эволюции обосновывающим статусом в моральных теориях.) Любовь должна была как-то возникнуть — ведь если мы не способны радоваться вещам, которые могут возникать, наша жизнь и впрямь окажется пустой. Возможно, эволюция — не самый приятный способ развития любви, но судите по конечному продукту, а не по источнику. В противном случае вы совершите то, что (весьма метко) называют генетической ошибкой: причинность — это не то же самое, что обоснование. Вы ведь всё равно не сможете выйти за пределы мозга, которым вас наделила эволюция; бунт против природы возможен только изнутри самой природы.

Предыдущая серия статей об эволюционной психологии должна избавить от метаэтического заблуждения, будто любой нормальный человек, принимая решения, думает о своей репродуктивной приспособленности, пусть даже неосознанно. Только эволюционные биологи вообще знают, как определить генетическую приспособленность, и они-то уж точно не считают, будто она определяет мораль.

По-настоящему пугает мысль о том, что мораль может вычисляться внутри нашего собственного разума — разве это не означает, что мораль — всего лишь мысль? Разве из этого не следует, что всё, что вы считаете правильным, непременно правильно?

Нет. То, что какая-то величина вычисляется у вас в голове, ещё не означает, что сама эта величина — о ваших мыслях. Есть разница между калькулятором, который вычисляет «Чему равно 2 + 3?», и тем, который выдаёт: «Что я выдаю, когда кто-то нажимает „2“, „+“ и „3“?»

Наконец, если жизнь кажется мучительной, редукционизм может и не быть истинной причиной вашей проблемы — если жизнь в мире, состоящем из одних только частиц, кажется невыносимой, возможно, ваша жизнь прямо сейчас просто недостаточно увлекательна?

И если вам интересно, почему я считаю всю эту метаэтику столь важной, когда в конечном счёте всё всё равно сводится к обычной моральной норме... велящей убрать ребёнка с рельсов, а не наоборот...

Что ж, противодействие рациональности существует — со стороны людей, которые считают, что она лишает Вселенную смысла.

И это лишь частный случай общего феномена: очень и очень многие люди совершенно запутываются, неправильно понимая, откуда берётся их мораль. Плохая метаэтика входит в учения многих культов, включая самые крупные. Моя целевая аудитория — это не только люди, которые боятся, что жизнь бессмысленна, но и те, кто пришёл к выводу, будто любовь — это иллюзия, поскольку истинная мораль должна сводиться к максимизации совокупной приспособленности; или те, кто решил, будто доброта без взаимности — это зло, поскольку истинная мораль проистекает исключительно из эгоизма, и так далее.

*

272. Может ли хоть что-то быть правильным? Много лет назад Элиезер-1999 был убежден, что ничего не знает о морали.

Насколько он знал, мораль вполне могла требовать истребления человечества; и в таком случае он не видел никакой доблести в том, чтобы выступать против морали, поскольку полагал: по определению, если он постулирует этот моральный факт, значит, уничтожение человечества — это именно то, что «должно» быть сделано.

Я думал, что, возможно, сумею выяснить, что правильно, получив достаточно времени на размышления и достаточно фактов, но в данный момент у меня нет никакой информации об этом. Я не мог доверять создавшей меня эволюции. Какую почву под ногами это мне оставляло?

Что ж, Элиезер-1999 действительно колоссально заблуждался насчет природы морали — во всяком случае, в том, что касалось его явно сформулированной философии.

Но, как однажды заметил Дэвидсон, если вы верите, что «бобры» живут в пустынях, имеют чисто-белый окрас и во взрослом возрасте весят 300 фунтов, то у вас вообще нет никаких убеждений насчет бобров, ни истинных, ни ложных. По крайней мере часть ваших убеждений должна быть верной, прежде чем остальные смогут оказаться ошибочными насчет чего бы то ни было.1

Мое убеждение, что у меня нет никакой информации о морали, не было внутренне согласованным.

Слова о том, что я ничего не знаю, казались добродетельными, ведь когда-то меня учили, что признавать свое невежество — это добродетель. «Я знаю только то, что ничего не знаю» и все в таком духе. Но в данном случае мне стоило бы вспомнить известное, пусть и преувеличенное изречение: «Величайший глупец — тот, кто не осознает своей мудрости». (Это далеко не величайшая глупость, но все же глупость.)

Было ли неправильным убивать людей? Ну, я так думал, но не был уверен; может быть, убивать людей правильно, хотя это и казалось менее вероятным.

Какая процедура дала бы ответ на вопрос, правильно ли убивать людей? Этого я тоже не знал, но думал, что если построить универсальный сверхинтеллект (то, что позже я назову «призраком абсолютной пустоты»), то он смог бы, понимаете ли, рассуждать о том, что с наибольшей вероятностью правильно или неправильно; а поскольку он сверхинтеллектуален, он неизбежно придет к верному ответу.

Проблема, о которой я умудрялся особо не задумываться, заключалась в том, откуда сверхинтеллект возьмет процедуру, которая обнаружит процедуру, которая обнаружит процедуру, которая обнаружит мораль — если я не мог вписать ее в начальное состояние, написавшее ИИ-преемника, который написал следующего ИИ-преемника.

Как позже выразился Марчелло Херресхофф: «Мы никогда не утруждаем себя запуском компьютерной программы, кроме тех случаев, когда мы не знаем результата, но знаем о нем некий важный факт». Если я ничего не знал о морали и даже не претендовал на знание ее природы, то как я вообще мог сконструировать какую-либо компьютерную программу — пусть даже «сверхинтеллектуальную» или «самосовершенствующуюся» — и утверждать, что на выходе она выдаст нечто под названием «мораль»?

В компьютерных науках существуют теоремы о «бесплатном обеде» — во вселенной с максимальной энтропией ни один план в среднем не лучше любого другого. Если у