Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

Компании, которые разрабатывают LLM, могут использовать сразу несколько типов наборов данных: открытые, например с Hugging Face; купленные у сторонних поставщиков; собранные самостоятельно с веб-страниц; созданные своими силами, когда сотрудники сами пишут обучающие примеры для модели. Несмотря на то, что для первоначального обучения LLM может и не потребоваться никакого ручного вмешательства, для улучшения работы модели в определенных областях, таких как диалоги для чат-ботов, важны краудсорсинг и сбор диалоговых данных, и мы об этом еще будем говорить.

2.1.2. Развеем мифы об авторегрессии и двунаправленном предсказании токенов

Некоторые первые большие языковые модели, такие как BERT от Google, были гораздо больше ориентированы на понимание естественного языка, чем на генерацию, как чат-боты. BERT является так называемой двунаправленной моделью, то есть обученной задаче по предсказанию пропущенного слова в середине предложения. В ее названии используется термин «двунаправленная», который указывает, что модель видит как левый (предшествующий текст), так и правый (последующий текст) контексты. Это способствует лучшему пониманию естественного языка, поскольку модель собирает больше информации о контексте, в котором используется то или иное слово. Однако если модель создается для генерации текста, она должна иметь доступ только к тексту, предшествующему токену. Такой тип модели называется авторегрессионным, и это просто означает, что предсказания составляются на основе предыдущих данных. Все модели семейства GPT, а также PaLM от Google, являются авторегрессионными моделями.

АВТОРЕГРЕССИЯ означает, что предсказания делаются на основе предшествующих данных.

В качестве примера рассмотрим предложение: «На свой медовый месяц они полетели в __________ и устроили себе романтический ужин рядом с Эйфелевой башней». Правильный ответ – «Париж». В этом случае правый контекст (то, что написано после пропущенного слова) содержит больше информации, и двунаправленная модель с большей вероятностью даст правильный ответ. Но в предложении, например: «Хорошее место для романтического медового месяца – это ___________», задача состоит в том, чтобы сгенерировать текст, который стоит в конце предложения. Следовательно, при обучении модели для решения такой задачи примеры должны использовать только левый контекст. Модель обучается самостоятельно, многократно угадывая конечный токен в миллиардах примеров из текста и корректируя свои обучаемые параметры (весовые коэффициенты нейронов) на основе правильного токена [32], пока ее эффективность при угадывании этого токена не достигнет оптимума. Для нас, пользователей, общение с ChatGPT не выглядит так, будто он выполняет эту простую математическую задачу, но с точки зрения внутренней работы модель просто предсказывает, какой текст должен последовать. Если я печатаю: «Эй! Как дела?» – логичным и наиболее вероятным завершением последовательности будут ответ на вопрос и приветствие.

2.1.3. Тонкая настройка LLM

Как только модель обучится выполнять задачу по прогнозу токена, она сможет генерировать слова, фразы и дописывать предложения. Модели на этом этапе часто называют фундаментальными или базовыми, поскольку они обладают наиболее общими знаниями о совместном употреблении различных слов и понятий, сформировавшимися за счет анализа огромного количества словоупотреблений. В таком виде базовые модели впечатляют не сильно, но зато они полезны тем, что их можно легко адаптировать для решения специфических задач с помощью тонкой настройки (fine-tuning).

Тонкая настройка, по сути, означает усовершенствование модели с помощью специально подготовленных и размеченных данных, наглядно показывающих, как решать конкретную задачу. Эти задачи могут быть довольно общими или очень узконаправленными, например классификация по специфическим темам в конкретной предметной области. Многие коммерческие LLM тонко настроены на следование инструкциям, чтобы они могли лучше реагировать на такие запросы, как «напиши песню» или «расскажи анекдот». Другие распространенные задачи для тонкой настройки – это уже известные задачи реферирования текста и ответов на вопросы. С технической точки зрения тонкая настройка – это просто обучение с учителем, однако оно начинается не с нуля: нейронная сеть уже имеет весовые коэффициенты базовой модели. В то время как обучение базовой модели занимает недели и требует больших вычислительных ресурсов, тонкая настройка может быть выполнена за считаные минуты. При тонкой настройке весовые коэффициенты и параметры базовой модели корректируются, чтобы наилучшим образом соответствовать новым обучающим данным.

2.2. Неожиданный поворот: эмерджентные свойства LLM

В некоторых отношениях большие языковые модели являются естественным развитием предшествующих моделей нейронных сетей. До того, как архитектура трансформера позволила эффективно создавать все более объемные модели, было уже хорошо известно о корреляции между размером модели и ее производительностью в разнообразных задачах NLP, и во многих случаях такое улучшение не вызывало удивления и вполне укладывалось в эмпирически известный «эффект масштаба». Однако LLM также показали поведение, которое никто не мог предсказать, исходя только из «эффекта масштаба», – так называемые эмерджентные свойства. В исследовании 2022 года, посвященном эмерджентным способностям LLM, авторы определяют эмерджентность как явление, «когда количественные изменения в системе приводят к качественным изменениям в поведении»1. Другими словами, мы могли бы ожидать, что при решении конкретной задачи модель со 100 миллиардами параметров достигнет точности на 10 % большей, чем модель со 100 миллионами параметров. Но оказалось, что модель со 100 миллиардами параметров, то есть LLM, может выполнять задачи, которые не под силу маленьким моделям, причем неожиданным и непредсказуемым образом.

ЭМЕРДЖЕНТНЫЕ СВОЙСТВА – это способности, которые проявляются у LLM очень больших размеров, причем их поведение качественно отличается от поведения моделей меньшего размера.

2.2.1. Способный студент: обучение на небольшом количестве примеров

Чтобы обсудить эмерджентные качества больших языковых моделей, будет полезно сравнить их с теми способностями, которые появляются в процессе, описанном в предыдущем разделе. В стандартном случае модель предварительно обучается и проходит тонкую настройку на одну или несколько способностей в обработке естественного языка, например, на перевод или поиск аналогии. Каждая из этих способностей является частью программы обучения и считается предсказуемой, и хотя мы не всегда знаем, как модель это делает, мы ожидаем, что модель будет обладать этими способностями.

Первые примеры эмерджентных способностей – это обучение без обучающих примеров [33] (zero-shot learning) или на нескольких примерах (few-shot learning). Эти термины обозначают количество обучающих примеров, которые даются модели перед решением задачи. Предположим, что ресторатор хочет добавить в меню визуальные индикаторы вегетарианских блюд. Он просит ChatGPT: «Пожалуйста, перепиши это меню и поставь звездочку напротив всех блюд, которые не содержат мясо», а затем копирует результат в свое меню. Для человека такая задача может показаться простой, но модель должна для начала интерпретировать запрос, затем классифицировать по содержанию мяса каждый пункт меню и далее в соответствующем формате выдать результат. Уровень понимания естественного языка и способность к генерации, необходимые для выполнения такой задачи без