Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

подобных им) методов, неизбежно пойдет не так, нам нужно кратко рассмотреть эти самые методы: как они работают, что производят и что общего у инженеров ИИ с матерью, которая знает только ДНК своего ребенка.

Самый фундаментальный факт о современных системах ИИ заключается в том, что они выращены, а не сконструированы. Это совсем не похоже на то, как пишется обычное ПО — по сути, это ближе к тому, как формируется человек, по крайней мере в некоторых важных аспектах. А именно: инженеры понимают процесс, приводящий к созданию ИИ, но плохо понимают, что происходит внутри того разума ИИ, который им удается создать.

Поскольку первоначальные веса случайны, при первом запуске эта программа выдает полную бессмыслицу. Модель может заявить, например, что следующей буквой с вероятностью 65 процентов будет «б», а вероятность буквы «м» — всего 1 процент.

Но вот в чем фокус: если архитектура выбрана правильно, можно рассчитать, какую роль сыграл каждый отдельный параметр в определении конечного результата всей этой арифметики.

Поэтому теперь они берут каждый отдельный вес — сотни миллиардов весов — и задаются вопросом по поводу каждого из них: «Если бы я сделал это число чуточку больше или меньше, насколько больше или меньше вероятности досталось бы букве «м» в итоге всех этих арифметических вычислений?»

Это называется градиентом для данного параметра.i Градиент показывает, в какую сторону — и насколько — нужно изменить вес этого параметра, чтобы сделать конечный ответ чуть более правильным.

И тогда они берут и корректируют каждый вес в соответствии с его градиентом. Они сдвигают каждый отдельный вес в том направлении, которое делает ответ немного более правильным. Не вручную, конечно: для этого они пишут программу. Инженеры ИИ редко заглядывают в сами числа — человеческой жизни не хватит, чтобы просмотреть их все.

Специалисты по компьютерным наукам представляют это как «спуск» к «менее плохому» ответу, отсюда и «градиентный спуск».

Если проделать это лишь один раз, это не даст идеального ответа, а лишь сделает его чуточку менее плохим. Но поскольку весь этот процесс поддается автоматизации, его можно повторять на триллионах слов — обучающих данных — всего за несколько месяцев на самых передовых компьютерах в мире, потратив на это всего пару сотен миллионов долларов. (Будем надеяться, что наш главный герой богат или работает на крупную компанию.) Этот процесс называется обучением.

7. Как только машина полностью обучена, ее выходные данные — генерируемые ею вероятности — можно превратить в обычный текст, который видит пользователь. Если ИИ с наибольшей вероятностью предсказывает «н» как продолжение фразы «Однажды в студе», к ней добавляют эту «н», получая «Однажды в студен». Затем эту новую расширенную последовательность снова подают на вход для предсказания следующей буквы и получают «у». Процесс продолжается, и машина начинает говорить.

Этот набор из сотен миллиардов весов, многократно скорректированных с помощью градиентного спуска до тех пор, пока их наиболее вероятные предсказания не станут похожи на настоящую человеческую речь, называется большой языковой моделью (БЯМ). В частности, «базовой моделью».

Если они хотят превратить свою базовую модель в полезную БЯМ вроде ChatGPT, требуется еще один шаг: еще один раунд градиентного спуска на входных данных, отформатированных следующим образом:

Пользователь: Какова столица Испании?

Ассистент: Мадрид.

Цель этой части не в том, чтобы научить БЯМ тому, что столица Испании — Мадрид; модель это и так знает после обучения на огромной части интернета. Скорее, идея состоит в том, чтобы настроить БЯМ заполнять текст после слова «Ассистент:» полезным ответом, а не репликой в духе «С какого перепугу ты меня об этом спрашиваешь? Погугли сам», какой бы частой ни была последняя в реальном человеческом общении, на котором обучалась модель. Если бы наш инженер работал на крупную корпорацию, предоставившую все эти компьютеры, на этом этапе ИИ также учили бы не ругаться матом и не рассказывать о том, как завести машину без ключа, используя оценки людей (или, в последнее время, сгенерированные ИИ), определяющие, какие варианты ответов наиболее приемлемы с корпоративной точки зрения.

Вот так, метафорически выражаясь, и появляются дети.

Когда дело доходит до создания настоящих детей, будущим родителям не нужно глубоко разбираться в науке. В данном конкретном случае аналогия сохраняется. Инженерам, стремящимся создать ИИ, нужно знать несколько больше, чем человеческим родителям, — но совсем не так много, как можно было бы подумать.

Подведем итог, вот что делают сегодняшние «родители» ИИ: инженеры выбирают архитектуру ИИ, определяя, какие параметры складываются, а какие перемножаются. Инженеры создают систему, которая просчитывает буквально квинтиллионы градиентов: триллионы слов, миллиарды параметров. Слова, которые модель учится предсказывать, сначала триллионами копируются из интернета, а затем их количество пополняется низкооплачиваемыми работниками или другими ИИ. Если инженеры идут еще дальше и обучают ИИ решать математические задачи или другие головоломки с единственно верным решением, то программы для проверки ответов ИИ пишут люди.

И это всё; это та часть, которую люди делают, видят или способны понять, если увидят.

Вы можете задаться вопросом, не скрываются ли все секреты интеллекта в конкретных решениях по выбору архитектуры — секреты того, какие параметры складывать, а какие перемножать. Мы избавим вас от подробного описания архитектуры Llama 3.1 405B, БЯМ, бывшей передовой в середине 2024 года, но мы включили его в онлайн-материалы. Здесь же достаточно сказать, что архитектура эта огромна и полна повторений; грубо говоря, она включает в себя присвоение 16 384 чисел каждому возможному «токену», а затем распределение миллиардов параметров по 128 различным «головкам внимания», которые обеспечивают перекрестные связи между токенами, и сборку всего этого (наряду с другими простыми операциями) в один «слой» — один из 126 подобных слоев… и так далее.

Все это к тому, что ИИ — это куча из миллиардов чисел, полученных методом градиентного спуска.

Отношения биологов с ДНК во многом напоминают то, как инженеры ИИ относятся к числам внутри ИИ. На самом деле биологи знают гораздо больше о том, как ДНК превращается в биохимические процессы и признаки взрослого организма, чем инженеры — о том, как веса ИИ превращаются в мышление и поведение. Биологи занимаются этим на несколько десятилетий дольше.

Точно так же никто не может взглянуть на «сырые» числа внутри ИИ и определить, насколько хорошо конкретно эта модель будет играть в шахматы; чтобы выяснить это, инженеры могут только запустить ИИ и посмотреть, что произойдет. На что бы ни наткнулся градиентный спуск, именно это и будет делать огромная куча чисел. Машина,