Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Почему бы не принять, что, при прочих равных, радость предпочтительнее печали?

Возможно, позже вы найдете в себе или надстроите над собой основания для критики этого — но почему бы не принять это сейчас? И не просто как личное предпочтение, заметьте, а как нечто, вшитое в сам вопрос, которым вы задаетесь, когда спрашиваете: «Что истинно правильно?»?

Но тогда вы можете обнаружить, что знаете о морали довольно-таки много! Ничего определенного, ничего бесспорного, ничего неоспоримого — но тем не менее довольно большой объем информации. Готовы ли вы отказаться от своего сократовского невежества?

Разумеется, я не строю аргументацию на определениях. Но если вы утверждаете, будто вообще ничего не знаете о морали, у вас возникнут проблемы со значением ваших слов, а не только с их правдоподобностью.

*

1. Рорти, «Вне матрицы: как покойный философ Дональд Дэвидсон показал, что реальность не может быть иллюзией».

273. Мораль как фиксированное вычисление. Тоби Орд прокомментировал:

Элиезер, я только что перечитал твою статью и подумал, можно ли кратко суммировать твою позицию следующим образом (если оставить в стороне то, как именно ты к ней пришёл):

«Мне следует сделать X» означает, что я попытался бы сделать X, будь я полностью информирован.

Тоби — профи, так что если уж он не понял, мне лучше попробовать ещё раз. Попробую объяснить иначе — зайду с другой стороны — той, что ближе к тому пути, которым я сам пришёл к этой позиции.

Представьте, что вы создаёте ИИ и — оставив в стороне тот факт, что целевые системы ИИ невозможно построить на утверждениях на естественном английском языке, а все подобные описания являются лишь мечтами — пытаетесь внедрить в него определяющий действия принцип: «Делай то, что я хочу».

И предположим, вы спроектировали ИИ достаточно близко к цели — так, что он не просто принимается устилать вселенную канцелярскими скрепками, чизкейками или крошечными молекулярными копиями довольных программистов, — и его функция полезности в самом деле приписывает полезность следующим состояниям мира (описываемым на английском как):

<Программист слабо желает «X», существует 20 единиц X>: +20

<Программист сильно желает «Y», существует 20 единиц X>: 0

<Программист слабо желает «X», существует 30 единиц Y>: 0

<Программист сильно желает «Y», существует 30 единиц Y>: +60

Вы, конечно, понимаете, что это уничтожает мир.

…поскольку если программист изначально слабо желает «X», а получить X трудно, ИИ модифицирует программиста так, чтобы тот сильно желал «Y», который создать легко, а затем произведёт огромное количество Y. Референтом «Y» могут быть, скажем, атомы железа — они очень стабильны.

Можно ли залатать эту проблему? Нет. Как правило, дефектные проекты Дружественного ИИ залатать невозможно.

Если вы попытаетесь ограничить функцию полезности или заставить ИИ не заботиться о том, насколько сильно программист чего-то хочет, у ИИ всё равно останется мотив (как у максимизатора ожидаемой полезности) сделать так, чтобы программист захотел то, что можно получить с очень высокой степенью уверенности.

Если вы попытаетесь сделать так, чтобы ИИ не мог модифицировать программиста, то ИИ не сможет с ним разговаривать (разговор с кем-то меняет этого человека).

Если вы попытаетесь исключить конкретный класс способов, которыми ИИ мог бы модифицировать программиста, у ИИ возникнет стимул с помощью своего сверхинтеллекта искать лазейки и способы косвенного воздействия на программиста.

Как правило, дефектные проекты Дружественного ИИ залатать невозможно.

Мы сами не рисуем себе будущее так, чтобы считать, что любое будущее, где наш мозг чего-то хочет и это существует, является хорошим будущим. Если бы мы думали подобным образом, мы бы сказали: «Ура! Давайте, меняйте нас так, чтобы мы сильно хотели чего-то дешёвого!» Но мы так не говорим, а значит, сам этот проект ИИ в корне ошибочен: он будет выбирать вещи, совершенно не похожие на то, что выбрали бы мы; он будет судить о желательности совсем иначе, чем судим мы. Эту глубинную дисгармонию нельзя исправить заплатками, запретив лишь несколько конкретных сценариев сбоя.

Между проблемами Дружественного ИИ и проблемами моральной философии также существует дуальность — хотя эту дуальность нужно выстроить абсолютно правильным образом. Так что, если хотите, главная проблема заключается в том, что ИИ будет делать выбор, структура которого совершенно не похожа на то, что, знаете ли, на самом деле правильно — не говоря уже о том, как выбираем мы. Разве не в том вся суть этой проблемы, что простое желание чего-либо ещё не делает это правильным?

Вот в чём заключается кажущаяся парадоксальной проблема, которую я уподобил разнице между:

Калькулятором, который при нажатии клавиш «2», «+» и «3» пытается вычислить:

«Чему равно 2 + 3?»

Калькулятором, который при нажатии клавиш «2», «+» и «3» пытается вычислить:

«Что выдаст этот калькулятор, если нажать „2“, „+“ и „3“?»

Калькулятор первого типа, так сказать, хочет выдать 5.

«Калькулятор» второго типа мог бы вернуть любой результат; и в сам момент выдачи этого результата он становится правильным ответом на внутренне заданный вопрос.

Мы сами подобны калькулятору первого типа. Однако гипотетический ИИ строится так, словно он должен воспроизводить калькулятор второго типа.

А теперь представьте, что калькулятор первого типа пытается построить ИИ, только этот калькулятор не знает своего собственного вопроса. Калькулятор непрерывно задаёт этот вопрос в силу самой своей природы — он был рождён, чтобы задавать его, создан уже в движении вокруг этого вопроса, — но калькулятор не способен заглянуть внутрь собственных транзисторов; он не может распечатать этот вопрос, который чрезвычайно сложен и не имеет простого приближения.

Поэтому калькулятор хочет построить ИИ (это довольно умный калькулятор, просто у него нет доступа к собственным транзисторам) и сделать так, чтобы ИИ дал правильный ответ. Только вот распечатать вопрос калькулятор не может. Поэтому калькулятор хочет, чтобы ИИ посмотрел на калькулятор, где записан этот вопрос, и ответил на вопрос, который ИИ обнаружит неявно заложенным в этих транзисторах. Но этого нельзя сделать с помощью дешёвой уловки вроде функции полезности вида «Для всех X: { если калькулятор спрашивает „X?“, ответить X}: полезность 1; иначе: полезность 0», потому что это на самом деле отражает функцию полезности калькулятора второго типа, а не первого.

Это уводит нас в область проблем Дружественного ИИ, в которые я сейчас не буду углубляться (над некоторыми из них я сам всё ещё работаю).

Однако, если отвлечься от технических деталей проектирования Дружественного ИИ и вернуться к перспективе моральной философии,