Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Главное, что нужно знать о современных моделях ИИ: их выращивают, а не конструируют. Это не похоже на создание обычных программ, фактически это ближе к тому, как появляется человек, по крайней мере в некоторых важных аспектах. А именно: инженеры понимают процесс, в результате которого появляется ИИ, но не особо понимают, что происходит внутри того разума ИИ, который им удалось создать.

Предположим, инженер, не обладающий глубоким пониманием языка или масштабной теорией интеллекта, желает создать машину, которая будет осмысленно разговаривать. Как ему подступиться к этой задаче?

Он хочет, чтобы машина осмысленным образом продолжала писать любой предложенный ей текст.

Он начинает обучать ее, что в предложении, которое начинается с Once upon a ti, следующей буквой, вероятно, будет m[9].

Он мог бы написать программу, которая просто проверяет, совпадает ли предложенный фрагмент с выражением Once upon a ti, и затем выдает букву m. Однако такой подход не сработает с другими фрагментами предложений, например Four score and sev[10], а нашему инженеру хочется, чтобы машина хорошо справлялась с продолжением любых предложений или с порождением диалогов и эссе. Ему даже хочется, чтобы она осмысленно дописывала те предложения, которые раньше не печатал ни один человек.

Если наш герой использует современные методы ИИ, то действует примерно так:

1. Сначала он берет фрагмент предложения, в нашем примере Once upon a ti, и представляет его в виде ряда чисел: например, заменяя букву A числом 1, B – числом 2, C – числом 3 и так далее и добавляя определенные числа для пробелов и знаков препинания. Фраза Once upon a ti превращается в ряд чисел наподобие 15 14 3… Получаются входные данные (вход).

2. Затем он берет компьютер, который может хранить огромное количество чисел. Каждая ячейка для числа называется параметром. (По состоянию на начало 2025 года передовые модели ИИ используют несколько триллионов параметров.)

3. Он заполняет это хранилище числами. Для простоты скажем, что эти числа просто берутся случайным образом. Числа в ячейках называются весами.

4. Затем он определяет архитектуру: правила, как комбинировать входные данные (например, последовательность 15 14 3… для фразы Once upon a ti) с весами в параметрах. Что-то вроде: “Умножаю каждое входное число на вес в первом параметре, затем прибавляю это к весу во втором параметре, затем заменяю нулем, если получилось отрицательное число, затем…” Он проводит множество подобных операций – сотни миллиардов, вовлекая в такие вычисления все веса.

5. В результате всех этих операций он получает набор выходных данных (выход), который интерпретируется как прогноз, какая буква будет следующей. В нашем примере инженер будет трактовать первое число на выходе как вероятность буквы A, второе число – как вероятность буквы B и так далее.

6. Затем он “обучает” свой зарождающийся машинный интеллект, используя процесс, именуемый градиентным спуском.

Поскольку начальные веса были взяты случайно, при первом запуске программа выдаст бессмыслицу. Например, заявит, что следующей буквой с вероятностью 65 % будет b, а с вероятностью только 1 % – m.

Но дело вот в чем: если наш герой правильно выбрал архитектуру, то он может определить роль, которую сыграл каждый отдельный параметр в получении итогового результата всей этой арифметики.

Поэтому теперь он берет каждый отдельный вес – то есть сотни миллиардов весов – и задает вопрос: “Если бы я сделал это число чуть больше или чуть меньше, насколько бы увеличилась или уменьшилась вероятность буквы m в конце всех вычислений?”

Это называется градиентом для данного параметра[11]. Градиент показывает, в каком направлении и насколько нужно изменить вес в параметре, чтобы итоговый ответ стал немного точнее.

Затем наш герой подправляет все веса в соответствии с градиентом: сдвигает каждый конкретный вес в том направлении, которое делает ответ немного правильнее. Разумеется, не вручную – для этого он пишет программу. Инженеры ИИ редко смотрят на сами числа: чтобы просмотреть их целиком, не хватило бы человеческой жизни.

Специалисты по компьютерным наукам называют это спуском к менее плохому ответу[12], отсюда и термин “градиентный спуск”. Однократное выполнение этой процедуры приведет не к идеальному ответу, а всего лишь к несколько менее плохому. Однако весь этот автоматизированный процесс можно повторить на триллионах слов, называемых обучающими данными: потребуются месяцы и несколько сотен миллионов долларов для работы на самых совершенных компьютерах в мире. (Будем надеяться, наш герой богат или работает на крупную компанию.)

Этот процесс называется обучением.

7. Когда набор весов полностью обучен, инженер преобразует выходные данные – порождаемые вероятности – в обычный текст, который видит пользователь. Если модель предсказывает, что самое вероятное продолжение фрагмента Once upon a ti – буква m, то наш герой добавляет эту m и получает Once upon a tim. А затем подает на вход уже новую, удлиненную последовательность и получает предсказание следующей буквы: на выходе предлагается e. Процедура повторяется, и машина в итоге начинает говорить.

Этот набор из сотен миллиардов весов, которые раз за разом подправляли с помощью градиентного спуска до тех пор, пока наиболее вероятные предсказания не стали соответствовать реальному человеческому языку, называется большой языковой моделью, или LLM (Large Language Model). Точнее, это “базовая модель” (base model).

Если специалист желает превратить свою базовую модель в полезную LLM (вроде ChatGPT), потребуется еще один этап: дополнительный раунд градиентного спуска на входных данных, отформатированных следующим образом:

пользователь: Какой город является столицей Испании?

ии-помощник: Мадрид.

Эта стадия нужна не для того, чтобы сообщить модели, что столица Испании – Мадрид, LLM уже знает это после обучения на огромных массивах данных из интернета. Идея здесь в настройке LLM, чтобы после “ИИ-помощник:” она выдавала полезный ответ, а не реплику вроде “Какого черта ты меня спрашиваешь? Загугли сам!”, даже если такая реплика часто встречалась в реальных человеческих разговорах, на которых модель обучалась. Если наш инженер работает на крупную корпорацию, предоставившую все эти компьютеры, то на данной стадии он еще обучит ИИ не ругаться и не рассказывать, как угнать машину без ключа зажигания. Для этого он использует выставленные людьми (или – с недавних пор – искусственным интеллектом) оценки, определяющие приемлемость разных ответов в обществе.

Вот откуда, метафорически говоря, берутся дети.

Когда дело доходит до создания настоящих детей, будущим родителям нет надобности в серьезных научных знаниях. В данном случае параллель сохраняется. Инженерам, создающим ИИ-модель, нужно знать несколько больше, чем родителям-людям, но не так много, как вы могли бы