Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

всего лишь одну из этих ценностей из сверхинтеллекта, и даже если вы успешно включите все остальные ценности, вы можете прийти к гиперэкзистенциальной катастрофе — участи хуже смерти. Если появится сверхинтеллект, желающий для нас всего, чего мы сами желаем для себя, за исключением человеческих ценностей, связанных с контролем над собственной жизнью и достижением собственных целей, это будет одна из старейших классических антиутопий. (В данном случае — «Со сложенными руками…» Джека Уильямсона).

Так как же создатель Поразительно Простой Функции Полезности справляется с этим возражением?

Возражением? Возражением? С чего бы им искать возможные возражения против своей прелестной теории? (Заметьте, что процесс поиска реальных, неустранимых возражений — это совсем не то же самое, что добросовестный поиск, который волшебным образом выявляет лишь те вопросы, на которые у них есть хлёсткий ответ). Они ничего этого не знают. Они не думают о бремени доказательства. Они не знают, что проблема сложна. Они услышали слово «сверхцель» и ушли в счастливую спираль смерти вокруг понятия «сложность» или чего-то подобного.

Надавите на них в каком-нибудь конкретном вопросе — например, спросите про любовь матери к своим детям, — и они ответят: «Но если сверхинтеллект хочет „сложности“, он увидит, насколько сложны отношения между матерью и ребёнком, и потому будет поощрять матерей любить своих детей». Господи, ну и с чего здесь начать?

Начнём с мотивированной остановки: сверхинтеллект, действительно ищущий способы максимизации сложности, не остановился бы так удобно для нас, заметив, что отношения родителей и детей сложны. Он бы спросил, нет ли чего-то ещё более сложного. Это ложное оправдание; тот, кто пытается склонить воображаемый сверхинтеллект к выбору определённой стратегии, пришёл к этому предложению вовсе не в результате чистого поиска способов максимизации сложности.

Весь этот аргумент — ложная мораль. Если бы вы действительно ценили сложность, вы бы оправдывали инстинкт родительской любви, указывая на то, как он увеличивает сложность. Если же вы оправдываете стремление к сложности, утверждая, что оно увеличивает родительскую любовь, это значит, что на самом деле вы цените именно родительскую любовь. Это всё равно что приводить просоциальные аргументы в пользу эгоизма.

Но если учесть аффективную спираль смерти, то привлекательность «сложности» в чьих-то глазах не вырастет от слов: «Отношения матери с дочерью важны лишь потому, что они увеличивают сложность; подумайте сами, если бы эти отношения стали проще, мы бы перестали их ценить». Что действительно повышает привлекательность «сложности» в восприятии человека, так это слова: «Если вы зададитесь целью увеличить сложность, матери будут любить своих дочерей — посмотрите, к какому положительному последствию это ведёт!»

Этот довод применим всякий раз, когда вы сталкиваетесь с моралистом, который пытается убедить вас, что его Одна Великая Идея — это всё, что нужно для вынесения моральных суждений, и доказывает это словами: «Посмотрите на все эти положительные последствия этой Великой Штуковины», вместо того чтобы сказать: «Посмотрите, как все эти вещи, которые мы считаем „положительными“, оказываются положительными лишь тогда, когда их следствием становится увеличение Великой Штуковины». А ведь именно последнее вам и потребовалось бы, чтобы действительно обосновать подобный аргумент.

Но если вы пытаетесь убедить других (или себя) в своей теории о том, что Одна Великая Идея — это «бананы», вы продадите гораздо больше бананов, доказывая, что бананы ведут к лучшему сексу, а не заявляя, будто хотеть секса стоит лишь тогда, когда он ведёт к бананам.

Если только вы не увязли в Счастливой спирали смерти настолько глубоко, что действительно начинаете утверждать: «Секс хорош только тогда, когда он ведёт к бананам». В таком случае у вас проблемы. Но, по крайней мере, вы больше никого не убедите.

В конечном счёте, единственный процесс, который надёжно воспроизводит все частные решения, которые вы приняли бы, исходя из своей морали, — это ваша мораль. Всё остальное — любая попытка заменить терминальные цели инструментальными средствами — в итоге теряет смысл и требует бесконечного количества заплаток, потому что система не содержит источника тех инструкций, которые вы ей даёте. Не стоит ожидать, что человеческую мораль можно сжать до простой функции полезности, — точно так же, как не стоит надеяться сжать большой компьютерный файл до 10 бит.

*

261. Ошибка оторванного рычага.

Это заблуждение обязано своим названием древнему научно-фантастическому сериалу, который я сам никогда не видел, но о котором мне рассказал надежный источник (какой-то парень на конвенте любителей фантастики). Если кто-то знает точный первоисточник, обязательно оставьте комментарий.

Итак, хорошие парни сражаются со злобными пришельцами. Время от времени хорошим парням приходится лететь сквозь пояс астероидов. Как мы все знаем, пояса астероидов забиты под завязку, прямо как парковка в Нью-Йорке, поэтому их кораблю приходится осторожно лавировать между астероидами. Злобные же пришельцы могут летать прямо сквозь пояс астероидов, потому что обладают невероятной технологией, которая дематериализует их корабли и позволяет им проходить сквозь астероиды.

В конце концов хорошие парни захватывают корабль злобных пришельцев и отправляются исследовать его изнутри. Капитан хороших парней находит мостик пришельцев, а на мостике — рычаг. «Ага, — говорит капитан, — должно быть, это тот самый рычаг, благодаря которому корабль дематериализуется!» И вот он выламывает рычаг управления и уносит его на свой корабль, после чего его корабль тоже обретает способность дематериализоваться.

Точно так же и по сей день весьма популярны попытки программировать ИИ с помощью «семантических сетей», которые выглядят примерно так:

(яблоко это-фрукт)

(фрукт это-еда)

(фрукт это-растение).

Вы видели яблоки, трогали их, поднимали и держали в руках, покупали за деньги, резали на дольки, ели эти дольки и чувствовали их вкус. Хотя мы немало знаем о первых этапах обработки зрительной информации, насколько мне известно, до сих пор точно не установлено, как именно височная кора хранит и связывает обобщенный образ яблока — так, чтобы мы могли распознать новое яблоко под другим углом или со множеством мелких вариаций формы, цвета и текстуры. Ваша моторная кора и мозжечок хранят программы для обращения с яблоком.

Вы можете дёрнуть за рычаг на крайне похожей версии всего этого сложного механизма у другого человека, просто написав «apple» — пять ASCII-символов на веб-странице.

Но если этого механизма нет — если вы пишете «apple» внутри так называемой базы знаний так называемого ИИ, — то этот текст является всего лишь рычагом.

Это не значит, что просто кремниевая машина никогда не сможет обладать теми же внутренними механизмами для работы с яблоками и сотнями