Токен за токеном - SeNS Boston

общая задача, чем то, что делает BERT. И, что особенно важно, эту задачу, по мнению Ильи, можно бесконечно масштабировать. Чем больше данных, чем больше параметров, тем лучше модель будет предсказывать. И чем лучше она предсказывает, тем больше может породить.

Кроме того, в идее «модель, порождающая язык» было что-то философски привлекательное. Не маленький инструмент для конкретной задачи; а нечто вроде универсального синтезатора текста, который может приспособиться к чему угодно. Это резонировало с долгосрочной миссией OpenAI: построить AGI, общий искусственный интеллект.

Поэтому в OpenAI решили: продолжаем GPT. Будем масштабировать. Делать больше, обучать на большем массиве данных. Алек получил поддержку и начал готовить вторую итерацию.

В коридоре что-то происходит

Год 2018-й закончился для OpenAI странным эмоциональным состоянием. С одной стороны, у них впервые был результат, на который можно было всерьёз указать: GPT-1 работал, был опубликован, цитировался. С другой стороны, BERT-овская волна затмевала их, и в академических кругах их по-прежнему воспринимали как небольшую частную лабораторию с большими амбициями и средними результатами.

В феврале 2018 года из OpenAI ушёл Илон Маск. Формальная причина: возникающий конфликт интересов с его работой в Tesla, где разрабатывался автопилот с использованием нейронных сетей. Реальные причины, вышедшие наружу значительно позже, были сложнее. Маск, по слухам, хотел получить личный контроль над OpenAI и был раздражён, что Альтман и Брокман отказались ему его дать. Был один или несколько неприятных разговоров. Маск ушёл с поста сопредседателя совета. Финансирование с его стороны после этого продолжалось ещё некоторое время, но в значительно меньшем объёме, чем планировалось изначально.

Для OpenAI это создало финансовую дыру. К началу 2019 года стало понятно, что обещанного миллиарда никогда не будет; что денег, реально находящихся на счетах, хватит ещё на год-полтора при существующих темпах расходов; что нужно искать другие источники.

Альтман с Брокманом начали рассматривать варианты. Один из них был радикальным: переучредить организацию. Не как чистую некоммерческую структуру, а как нечто гибридное: некоммерческая родительская организация с дочерней коммерческой компанией, способной привлекать венчурные инвестиции в обмен на ограниченную прибыль. Это решение в марте 2019 года будет официально оформлено: OpenAI Inc. останется некоммерческой, но создаст OpenAI LP — структуру, в которую можно будет инвестировать деньги и получать с них доход, но не больше, чем стократный возврат. Сэм Альтман перейдёт из Y Combinator в OpenAI на полную ставку как CEO.

Эта реструктуризация в 2019 году будет с громким эхом обсуждаться в академических кругах. Многие воспримут её как предательство первоначальной миссии. Один из ведущих исследователей OpenAI, занимавшийся вопросами безопасности, позднее уволится из-за связанных опасений и через два года создаст другую лабораторию, противопоставленную OpenAI по тем же мотивам, по которым OpenAI когда-то противопоставлялась Google. Этого исследователя звали Дарио Амодей, и его историю мы расскажем в одной из дальнейших глав.

Но всё это будет потом. В декабре 2018 года, на пороге нового года, в небольшом офисе OpenAI в Сан-Франциско, в Мишн-Дистрикте, рядом с прачечной и пиццерией, Алек Радфорд сидел за компьютером и набрасывал планы новой модели. Архитектура та же. Обучающие данные — больше. Размер — увеличить раз в десять.

Через два с половиной месяца он покажет миру модель, которая поразит публику не своими бенчмарками, а тем, как она пишет фальшивые газетные статьи. Эту модель назовут GPT-2.

Глава 8

Единороги в Андах

В шокирующем открытии, учёный обнаружил стадо единорогов в отдалённой, прежде не исследованной долине в горах Анд.

Промпт, использованный OpenAI для демонстрации GPT-2, февраль 2019

14 февраля 2019 года, в день влюблённых, OpenAI опубликовала на своём блоге пост, который должен был быть скромной академической заметкой, но получился чем-то совершенно иным. У поста было два названия: внутреннее, скучное, для специалистов — «Языковые модели — это неуправляемые многозадачные обучающиеся». И внешнее, ставшее заголовком новостных публикаций по всему миру: Better Language Models and Their Implications.

Внутри поста описывалась новая модель. Она называлась GPT-2 и представляла собой ту же архитектуру, что и GPT-1, только увеличенную примерно в десять раз. Один миллиард пятьсот миллионов параметров против ста семнадцати миллионов. Сорок гигабайт текста для обучения против одного. Сорок восемь слоёв трансформера против двенадцати.

Так выглядели технические детали. Но всё, ради чего читали тот февральский пост, было не в цифрах. Это было в нескольких примерах сгенерированного текста, которые OpenAI поместила прямо в тело публикации.

В первом примере исследователи дали модели промпт — короткий начальный текст, написанный человеком: в шокирующем открытии, учёный обнаружил стадо единорогов в отдалённой, прежде не исследованной долине в горах Анд. Они нажали кнопку. Модель самостоятельно продолжила текст.

Она написала, что более удивительным для исследователей оказалось то, что эти единороги говорили на превосходном английском языке. Она придумала имя ведущего учёного: Хорхе Перес, эволюционный биолог из университета Ла-Паса. Она сочинила правдоподобные детали экспедиции: трёхдневный пеший маршрут, поднявшиеся на высокогорье, неожиданная встреча. Она встроила в текст связные размышления о возможном происхождении этих животных. Получился связный, грамматически безупречный, стилистически выдержанный газетный репортаж — кроме той маленькой детали, что он был про говорящих единорогов и был полной выдумкой машины.

Прочитав этот пример, многие читатели блога OpenAI в феврале 2019 года испытали то же чувство, которое в ноябре 2022 года испытает в гораздо большем масштабе остальной мир. Это была не подсказка следующего слова. Это была не статистическая забава. Это было что-то такое, что страшно было назвать своим именем.

Алек удивляется

Алек Радфорд, ведущий автор GPT-2, по позднейшим словам коллег, был удивлён не меньше, чем читатели его статьи. Он провёл с моделью несколько недель индивидуально, экспериментировал, давал ей разные промпты, читал ответы. Модель оказалась способной не только продолжать тексты в любом жанре — от газетных до научных и сказочных, — но и делать вещи, ради которых её специально никто не обучал.

Если дать ей фрагмент английского текста и подставить в конце фразу Перевод на французский:, она выдавала французский перевод — не идеальный, но в основном грамматически правильный. Если дать ей вопрос и попросить ответить, она часто отвечала — иногда верно, иногда нет. Если дать абзац из новостной статьи и попросить кратко изложить, она вполне сносно выдавала краткое содержание.

Ни одно из этих умений в неё не закладывали явным образом. Она научилась им сама, просто читая сорок гигабайт текста с веб-страниц, на которые ссылались reddit-юзеры, и пытаясь угадать следующее слово.

Алек назвал это явление, в духе физических