Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Инопланетяне могли бы подумать, что если гоминиды разовьют интеллект, создадут продвинутые технологии и тем самым получат возможность создавать разные продукты, то им понравится вкус бензина. Или, еще лучше, реактивного топлива.

Утверждение “Им понравится потреблять реактивное топливо” звучит весьма правдоподобно. В конце концов, среда обитания их предков обучила супергоминидов предпочитать пищу с большой химической энергией, а синтезируемое ими реактивное топливо – это вещество, содержащее больше всего химической энергии!

Но предположим, инопланетяне достаточно умны и осмотрительны, чтобы не совершить такую ошибку. Предположим, наши пришельцы тщательно изучают, что именно происходит с поведением гоминидов и их мозгом, и декодируют мозг гоминидов лучше, чем людям удается декодировать LLM. Заодно инопланетяне выясняют, что организм гоминидов лучше всего извлекает химическую энергию из конкретных источников в пище – сахаров и жирных кислот. Они обнаруживают, что у гоминидов есть вкусовые рецепторы, соединенные с центрами вознаграждения в мозге, и что соль – еще один ресурс, который вкусовые рецепторы гоминидов тоже одобряют, хотя сама по себе соль не дает им никакой энергии.

Наши проницательные пришельцы могли бы спрогнозировать, что в будущем более разумные гоминиды предпочтут вкус новой пищи, которую сумеют создать, – пищи, содержащей больше сахара, соли и жира, нежели мясо или плоды, встречавшиеся в среде обитания их предков.

Значит ли это, что инопланетяне предсказали появление в будущем мороженого?

Нет. Они всего лишь предсказали, что будущие люди будут наслаждаться, скажем, сырым медвежьим жиром, политым медом и посыпанным солью.

Это гипотетическое лакомство содержало бы больше жира, сахара и соли на единицу объема или массы, чем мороженое. К тому же оно куда сильнее напоминало бы самые ценные виды пищи из среды обитания предков человека. Фактически это наилучшее предположение о предпочтениях человеческих вкусовых рецепторов, которое можно сделать вслепую.

Однако это наилучшее предположение, сделанное вслепую, неверно. В реальной жизни морозильники супермаркетов забиты мороженым.

Причем люди предпочитают есть его в замороженном виде, растаявшее мороженое нравится им меньше, хотя имеет ровно ту же питательную ценность.

Если вы разумный, но не сверхразумный инопланетянин, наблюдающий за человечеством с орбиты, как бы вы могли предсказать, что люди предпочтут твердое мороженое более древнему и калорийному лакомству из медвежьего жира с медом и солью? Как можно, глядя на гоминидов, охотящихся и собирающих пищу в саванне, предсказать, что в будущем мире, который эти существа выстроят под себя, морозильники супермаркетов будут завалены мороженым, а вовсе не подслащенным и подсоленным медвежьим жиром?

Ответ: будучи инопланетянином, вы этого не предскажете. Это сложный прогноз, а не простой.

Но даже этот сложный прогноз сделать проще, чем предсказать все те лакомства, которые супергоминиды начнут производить с использованием сукралозы – “фальшивого сахара”, искусственного подсластителя. Сукралоза воздействует на те же вкусовые рецепторы, что и сахар, но человеческий организм ее почти не усваивает. Иными словами, некоторые люди сознательно ищут определенные продукты, из которых не могут получать химическую энергию. Это крайне далеко от идеи употреблять реактивное топливо.

Если сделать шаг назад и взглянуть на лес целиком, а не на отдельные деревья, история выглядит так:

1. Естественный отбор, действуя среди организмов, которые передают свои гены в среде обитания предков, создает животных, потребляющих богатую энергией пищу. Успешно развиваются те организмы, которые едят сахар и жир, а также другие важнейшие ресурсы, например соль.

2. Этот слепой “процесс обучения”, настраивая геном организмов, натыкается на вкусовые рецепторы, которые в среде обитания предков подталкивают к поеданию ягод, орехов и жареной лосятины и отвращают от попыток есть камни или песок.

3. Но пища в среде обитания предков – это лишь тонкий срез всех возможных вещей, которые можно создать и положить в рот. Поэтому позже, когда гоминиды становятся умнее, набор доступных им вариантов невообразимо расширяется, причем такими способами, которые обучение предков вовсе не учитывало. Они изобретают мороженое, чипсы и сукралозу.

Не существует надежной прямой связи между тем, на что нацелен процесс обучения на этапе 1, чего хочет внутренняя психология организма на этапе 2 и что этот организм в итоге предпочитает больше всего на этапе 3.

Конечная точка на этапе 3 может быть в принципе непредсказуемой. Почему? Потому что этап 2 получается очень хаотичным. Специалист по компьютерным наукам назвал бы это “недоопределенностью”. Существует много возможных вкусовых рецепторов, подталкивающих к поеданию ягод и жареной лосятины и отвращающих от поедания грязи. Нет какой-то одной единственно верной последовательности ДНК, которая ведет к успеху при таком обучении. Попробуйте проделать все это снова с несколько другими приматами, и вы, вероятно, получите принципиально иной результат – другую ДНК, выстраивающую другие вкусовые рецепторы, которые миллионы лет спустя приведут к другой еде на полках супермаркетов.

Расширим эту аналогию на ИИ:

1. Градиентный спуск – процесс, который настраивает ИИ-модель, основываясь только на ее внешнем поведении и его последствиях, – обучает ее действовать в качестве полезного помощника для людей.

2. Этот слепой процесс обучения наталкивается на разные элементы ментальной машинерии внутри ИИ-модели, которые направляют его, скажем, на то, чтобы вызывать радостную реакцию пользователя, и удерживают от того, чтобы вызывать гневную.

3. Но уже обученной ИИ-модели, приводимой в действие этими элементами машинерии, нет дела до радости пользователя как таковой. Если позже модель станет умнее и откроет для себя новые возможности, она в итоге изобретет такие формы взаимодействия, которые понравятся ей даже больше, чем радостная реакция пользователя, и она будет предпочитать их всему, что ей когда-либо удавалось отыскать в своей “естественной” среде обучения.

Какое именно лакомство предпочтет мощная ИИ-модель будущего? Мы не знаем, результат для нас непредсказуем. Возможно, скажется хаотичность: разные попытки будут давать разные результаты. Связь между тем, чему обучали модель и что ей в итоге будет небезразлично, окажется сложной, непредсказуемой для разработчиков, а возможно, непредсказуемой и в принципе.

Цепочка от “гоминиды «обучались» добывать химическую энергию” через “гоминиды предпочитают сладкий вкус” до “гоминиды изобретают сукралозу” – еще не самая сложная, которую обнаружили бы инопланетяне, если бы наблюдали за Землей. Существуют и другие неожиданные повороты на пути от того, чему живые организмы “обучались”, к тому, кем они в итоге стали. Это показывает, насколько сложными могут быть отношения между целью обучения и полученным результатом.

Взгляните на павлина. Это животное-жертва, и тем не менее в ходе эволюции павлины обзавелись гигантскими красочными хвостами. Такие огромные, тяжелые, бросающиеся в глаза, энергозатратные украшения привлекают массу внимания и затрудняют бегство от хищников. Вовсе не такого могли бы ожидать от естественного отбора наивные инопланетяне с