Создатель ChatGPT: История Сэма Альтмана - Кич Хэйги

Интернет между тем веселился вовсю. «Текстовый генератор на базе ИИ слишком опасен для публикации», – ехидничал Wired[300]. «Основанная Илоном Маском OpenAI создала искусственный интеллект такой мощи, что его приходится держать под замком ради блага человечества», – вопил британский Metro[301]. «Исследователи, напуганные собственным творением, отказываются обнародовать ИИ для создания фейков», – объявила Ars Technica[302]. OpenAI в одночасье превратилась в посмешище. Это было унизительно и обидно. Альтман выступил перед сотней сотрудников лаборатории, поблагодарив их за попытку сделать правильный выбор. Но всем было понятно: это медийный провал.

И все же GPT–2 стала технологическим триумфом, превзойдя все существующие разработки. Обучающий датасет модели в 10 раз превышал объем данных, на которых была обучена предыдущая модель, и в OpenAI горели желанием увеличить масштаб еще на порядок. На совещании по планированию будущей GPT–3, где собралось около десяти руководителей, Брокман – до этого момента полностью погруженный в проект по обучению ИИ играть в Dota 2 – заявил о желании присоединиться к работе над новой моделью GPT. Амодеи, руководивший исследованиями GPT–2, категорически отказал. После непродолжительной перепалки Амодеи разразился гневной тирадой, перечисляя причины своего решения. Главная из них: Рэдфорд, которого Амодеи считал незаменимым для GPT-исследований OpenAI, отказывался работать с Брокманом – тот славился привычкой вторгаться в чужие проекты. Перед совещанием Брокман пять часов уговаривал Рэдфорда обсудить возможность совместной работы. Рэдфорд – приятный в общении интроверт – оказался в тупике. Работать с Брокманом он не хотел, но и сказать ему об этом прямо не мог. Поэтому Рэдфорд поделился своими чувствами с Амодеи, который выложил все начистоту перед Альтманом, Мурати и целым залом топ-менеджеров OpenAI. В итоге Альтман постановил: Брокмана к GPT–3 не подпускать – ради сохранения отношений с Амодеи и Рэдфордом. Остальные руководители были ошарашены влиянием Амодеи и увидели в происходящем начало раскола компании.

Амодеи, защитивший докторскую диссертацию по физике в Принстоне, присоединился к OpenAI в 2016 году (первые предложения компании, сделанные за год до этого, он отклонил). Успев поработать в Baidu и Google Brain, он вскоре превратился в одного из ключевых исследователей OpenAI. Им двигала двойная мотивация: вера в потенциал масштабирования нейросетей и тревога насчет готовности общества к последствиям прорыва. В 2019 году, параллельно с работой над GPT–3 Амодеи с группой коллег опубликовал статью о «законах масштабирования». Исследование доказывало: производительность больших языковых моделей стабильно растет при увеличении объема данных, вычислительной мощности и размера нейросети. Для генерального директора, ищущего инвестиции, это было манной небесной – научное подтверждение того, что вложенные деньги гарантированно расширят границы познания. Альтман назвал это открытие потенциально важнейшим в XXI веке. «Одно дело – знать, что модель улучшается с ростом масштаба, – говорил он. – И совсем другое – знать, что улучшение происходит с такой предсказуемостью. Это было грандиозно, просто грандиозно».

GPT–3 обучали на том, что в OpenAI попросту называли интернетом. Исследователи компании собрали массив данных на основе корпуса объемом более триллиона слов, добытых проектом Common Crawl. За Common Crawl стоял Гил Эльбаз – изобретатель платформы контекстной рекламы AdSense, которую Google купил в 2003 году и сделал фундаментом своего рекламного бизнеса. Раз в месяц Common Crawl запускал ботов-краулеров по всей сети, сохранял собранное в машиночитаемом формате и выкладывал в открытый доступ для исследователей. Большая часть контента была защищена авторским правом – цифровые издатели обычно указывают «Все права защищены» внизу страниц, независимо от наличия пейволла. Но академическое сообщество закрывало глаза на эту практику: все-таки речь шла о некоммерческих исследованиях, да и данные никто не прятал. Логика была простой: если издатели против использования контента, зачем они выкладывают его бесплатно? «Вернемся к Тиму Бернерсу-Ли – когда он придумал Всемирную паутину в 1989 году, его целью было разместить всю информацию в интернете для свободного доступа. Common Crawl – это срез этой информации, – объясняет Рич Скрента, исполнительный директор Common Crawl Foundation. – Common Crawl – основной обучающий датасет почти для всех больших языковых моделей».

При обучении GPT–3 к данным Common Crawl добавили выгрузку «Википедии», обновленную версию корпуса WebText (собранного OpenAI), а также Books1 и Books2 – туманно описанные как «книжные интернет-корпусы»: их происхождение и содержимое остаются загадкой. Позже авторы подали коллективный иск, утверждая: если Books1, скорее всего, взят из Project Gutenberg – коллекции из 60 000 книг с истекшими авторскими правами, то Books2 почти наверняка скачан из «откровенно нелегальных теневых библиотек» вроде Library Genesis, или LibGen, содержащей около 300 000 электронных книг, доступных через BitTorrent[303]. OpenAI отказывается комментировать источник датасета Books2.

Результат – новая модель во всем превзошла предшественницу. Она содержала 175 миллиардов параметров (цифровых аналогов синапсов) – в 100 с лишним раз больше, чем у GPT–2. Колоссальный объем обучающих данных позволил GPT–3 писать убедительные стихи, новостные статьи и даже программный код, хотя ее этому специально не учили. Достаточно было показать несколько примеров желаемого результата – пару строк диалога или фрагмент кода приложения, и модель выдавала целые абзацы или программы. В OpenAI назвали это few-shot learning, то есть обучением на небольшом количестве примеров: модели требовалось всего несколько примеров вместо часов тренировки, необходимых другим системам. «Она демонстрирует способности, считавшиеся невозможными», – заявил Суцкевер в интервью The New York Times[304].

Для Брокмана недопуск к работе над GPT–3 был мучением – ведь этот проект, без преувеличения, олицетворял OpenAI. Брокман любил присылать Альтману скриншоты из приложения RescueTime, показывающие почти 70-часовую рабочую неделю: большую часть времени он проводил кодируя. В ноябре 2019 года он сочетался браком со своей девушкой Анной прямо в офисе OpenAI – церемонию провел Суцкевер, а робот-манипулятор выступил в роли подносчика колец. Декабрь Брокман провел экспериментируя с только что обученной GPT–3 и изучая ее возможности. В итоге он в одиночку написал прототип первого продукта OpenAI.

Изначальным толчком стал банальный фандрайзинг: чтобы оплачивать необходимые вычислительные мощности, OpenAI требовалось показать инвесторам хоть какие-то доказательства того, что люди готовы платить реальные деньги за их разработки. Но исследователей компании не вдохновляла идея создавать практические приложения на основе больших языковых моделей. Они мечтали об AGI. Миллиард долларов вычислительных кредитов от Microsoft закончился бы довольно быстро при работе с такой ресурсоемкой моделью, как GPT–3. OpenAI надеялась, что Microsoft станет партнером в «продуктизации» технологии, но, сколько бы встреч ни проводилось с сотрудниками корпорации, заинтересовать гиганта не удавалось (в итоге Microsoft все же создала продукты на основе GPT–3, но выпустила их только в 2021 году – почти два года спустя).

Тогда OpenAI решила разобраться с продуктом самостоятельно. Руководство начало с мозгового штурма потенциальных областей применения. Здравоохранение? Образование?