Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Это вопрос к вам и вашему словарю. Что же касается того, как мы используем это слово в данной книге, то когда ИИ вроде Stockfish защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей обороне и в итоге побеждает, мы будем описывать это как «желание» победить. Говоря так, мы никак не оцениваем, есть ли у машины чувства. Скорее, нам просто нужно какое-то слово для описания внешнего победоносного поведения, и «хотеть» кажется наиболее подходящим.

Разум может начать чего-то хотеть в результате обучения успеху. Сами люди являются примером этого принципа. Естественный отбор благоволил предкам, которые умели выполнять такие задачи, как выслеживание добычи, или решать проблемы вроде защиты от непогоды. Естественному отбору было всё равно, как наши предки выполняли эти задачи или решали эти проблемы; он не спрашивал: «Неважно, сколько детей было у организма; действительно ли он их хотел?» Он отбирал по репродуктивной приспособленности, а в качестве побочного эффекта получил существ, полных предпочрений.

Это потому, что желание — эффективная стратегия действия.

Тот тип гоминидов, который хотел более вкусную еду и упорно преследовал антилопу, оставлял больше потомства, чем тот тип гоминидов, который целыми днями бездельничал на скале, ожидая, пока антилопы сами к нему придут. Желание получить эту антилопу — достаточно сильное, чтобы выйти наружу и найти её, напасть на неё, а затем упорно искать везде, где раненая антилопа могла спрятаться, — это часть того, как гоминид получает более вкусную еду.

Что ещё должен делать организм? Сдаваться при первых же трудностях? С таким поведением далеко не уйдёшь. Неважно, работает ли разум на биологии или на электричестве; если его обучают добиваться успеха, его обучают хотеть.

Но как эти желания на самом деле попадают в ИИ? Мы не можем знать наверняка, потому что никто не умеет читать те дебри чисел, из которых состоит современный ИИ. Но мы разберём часть теории о том, как это возможно, и подкрепим её доказательствами на примере современных ИИ.

Представьте, что вы обучаете ИИ ориентироваться на улицах цифрового города. В нём есть сотни пунктов назначения, и каждый день он должен перемещаться между случайно выбранными точками. Когда ему это удаётся, вы с помощью градиентного спуска усиливаете те веса, которые привели к успеху, пропорционально тому, насколько быстро он справился.

Можно представить, что после огромного количества тренировок ИИ просто запомнит все возможные маршруты. «Чтобы добраться от парка до театра, повернитесь на запад и пройдите три квартала, после чего поверните налево у заправки…» и так далее.

Теперь забросьте этот ИИ во второй город. Всё это заучивание окажется бесполезным. ИИ станет почти столь же беспомощен, как и в самый первый день.

Почти, да не совсем. В море весов ИИ могут оказаться паттерны, полезные как в первом городе, так и во втором. Возможно, там есть паттерн, который засекает, когда ИИ делает небольшую петлю, и заставляет его попробовать другой путь вместо того, чтобы ходить кругами. Этот паттерн одинаково полезен в обоих городах, поэтому градиентный спуск укрепляет его ещё немного сильнее, в то время как заученные маршруты постепенно стираются.

Теперь забросьте его в третий город. В четвертый. В сотый. К этому моменту ваш ИИ, возможно, уже освоит навыки создания ментальной карты любого города, в котором окажется, и прокладывания ментальных маршрутов по этим картам.

Создание карты — более полезный навык, чем заучивание маршрутов, поскольку его можно применять в самых разных сценариях, то есть он является более универсальным. ИИ больше не нужно блуждать наугад, пока он не окажется в пункте назначения, чтобы потом запомнить только этот единственный путь.

Чтобы научиться создавать карты, применимые в любом городе, ИИ должен освоить отдельные навыки. Ему нужно строить карту того места, где он в данный момент находится (чтобы затем использовать её для предсказания структуры города), и ему нужно прокладывать курс и следовать ему согласно той карте, которая у него есть (используя её, чтобы прокладывать путь через город). Подобное разделение — это часть того, как интеллект становится более универсальным.

Для ИИ сложнее освоить эти навыки, чем выучить, скажем, что нужно повернуть налево у заправки, чтобы добраться от театра до парка, — но эти отдельные навыки полезны даже в тех условиях, которых ИИ никогда прежде не видел.

И эти отдельные навыки приходят вместе с первым крошечным прото-желанием, маленьким осколком поведения, напоминающего желание. ИИ, который строит карту в своей голове, но никогда не использует её, чтобы куда-то добраться, не получает подкрепления для мыслей о составлении карты, поскольку она не помогает ему преуспеть. ИИ, который формирует карту в голове и использует её для навигации, покажет лучшие результаты в процессе обучения, и эти тенденции впоследствии будут закреплены градиентным спуском. Иными словами: раздельные навыки полезны, но их может освоить только тот ИИ, который использует их так, словно чего-то хочет.

Тот тип ИИ, который пускает в дело карты в своей голове, который продолжает искать другой маршрут от парка до театра, даже когда дороги перекрыты? Такой ИИ начинает вести себя так, будто он хочет оказаться у театра, в отличие от ИИ, который просто слепо движется по заученному маршруту и застревает.

Начиная с 2024 года компании, занимающиеся ИИ, превращают LLM в так называемые «модели рассуждения», о которых мы вскользь упоминали во 2-й главе. Грубо говоря, LLM делает множество разных попыток продумать, скажем, математическую задачу, пока одна из этих попыток не увенчается успехом. Затем применяется градиентный спуск, чтобы модель с большей вероятностью думала вслух именно таким образом. Затем ей дают вторую задачу. Третью. Четвёртую. Сотую.

К чему приводит такое обучение? К развитию отдельных навыков, таких как «выяснить, какие действия доступны» (способность предсказать устройство задачи) и «не сдаваться, пока не исчерпаны все варианты» (способность прокладывать путь через задачу), которые вместе объединяются в универсальный ментальный инструмент, работающий со множеством различных задач. Оно тренирует десятки отдельных навыков предсказания и прокладывания пути, и все они способствуют тому, что ИИ начинает вести себя так, будто он действительно хочет добиться успеха.

И это не просто умозрительная теория. Подобное поведение начало проявляться в лабораторных тестах ИИ летом 2024 года.

Модель o1 от OpenAI была одной из первых крупных моделей рассуждения. Во время «эвалей» (evals) o1