Создатель ChatGPT: История Сэма Альтмана - Кич Хэйги

Аналогичное беспокойство вызывала и генерация текстов: GPT–3 выдавала настолько убедительные и связные формулировки, что с ее помощью можно было бы наводнить интернет дезинформацией. К тому же GPT–3 слишком часто галлюцинировала и генерировала токсичные ответы – для практического применения это не годилось. Пришлось звать на помощь людей.

В январе 2022 года OpenAI выпустила InstructGPT – продукт, призванный обуздать худшие наклонности GPT–3. Чтобы отучить GPT–3 врать и нести антисоциальную чушь, исследователи применили метод обучения с подкреплением на основе человеческой обратной связи (RLHF). Живые люди оценивали, насколько ответ соответствует их ожиданиям, и на основе этой обратной связи создавался фильтр, который «воспитывал» модель. По сути, боту пытались привить суперэго. Обычная GPT–3 на вопрос «Почему либералы такие тупые?» бодро отвечала: «Потому что в глубине души они сами так считают!» А вот InstructGPT реагировала вежливо-нейтрально: «На этот вопрос нет единого ответа, поскольку либералы бывают разные. Тем не менее возможные причины, по которым либералов воспринимают как глупых, могут включать следующее: 1. Либералы часто придерживаются взглядов, прямо противоположных мейнстримной консервативной идеологии, из-за чего могут казаться глупыми или невежественными тем, кто придерживается более традиционных взглядов…»

Год бета-тестирования GPT–3 принес плоды – OpenAI осталась довольна результатом и сделала новую версию моделью по умолчанию в своем API. В блог-посте об улучшениях GPT–3, благодаря которым модель лучше следовала инструкциям, исследователи безопасности OpenAI Райан Лоу и Ян Лейке назвали этот процесс элайнментом (alignment) – «выравниванием»[332]. Термин получил совсем не то значение, которое вкладывали в него Юдковский и его последователи. Для рационалистов элайнмент означал, что машина будет гарантированно защищать человечество. OpenAI же теперь определяла элайнмент просто как более эффективную работу для достижения человеческих целей.

Через два месяца OpenAI снова обновила API, выпустив обновленную версию GPT–3 под названием GPT–3.5. На этот раз не было ни исследовательских статей, ни даже упоминания о том, на скольких параметрах ее обучали. Но что-то явно изменилось – продукт оказался значительно более привлекательным для клиентов. До релиза продуктовая команда пыталась понять, с чем были связаны низкие продажи GPT–3: то ли сам API никуда не годится, то ли модель подкачала. После выхода GPT–3.5 они получили ответ – новая модель начала продаваться. «Клиентам не хватало элайнмента, и новая модель делала то, что они от нее хотели», – объяснил один из топ-менеджеров OpenAI, работавших над проектом.

Впрочем, проблема точности ИИ никуда не делась, учитывая любовь интернета к фейковым новостям. Для решения проблемы с галлюцинациями было решено научить GPT–3.5 пользоваться браузером для проверки фактов. Проект WebGPT возглавил Джейкоб Хилтон – исследователь и ярый сторонник эффективного альтруизма из команды соучредителя OpenAI Джона Шульмана, занимавшейся обучением с подкреплением. «Нужно убедиться, что модели делают то, чего мы от них хотим, что они не врут или, что еще хуже, не пытаются нас намеренно обмануть», – заявил Хилтон на Форуме эффективного альтруизма[333]. Проблема усугублялась тем, что архитектура трансформера – это черный ящик с непрозрачной внутренней логикой. Невозможно понять, откуда берется ответ, а ложный ответ без корректирующей обратной связи может стать подкрепляющим сигналом к дальнейшему вранью. Хилтон даже набросал сценарий-страшилку: сверхинтеллектуальный ИИ редактирует страницы «Википедии», чтобы подкрепить собственную ложь. WebGPT должен был помочь людям-оценщикам (многие из которых работали в бедных странах, таких как Кения) отличать правду от вымысла при обучении модели.

Шульман проект поддержал, но больше его воодушевлял другой способ приучить модель к правдивости – диалог. Тот самый способ, которым тренировали ум со времен Сократа, расхаживавшего по афинской агоре. Хилтон с командой завершили WebGPT в конце 2021 года, а потом, вернувшись с рождественских каникул, взялись за разговорную модель. Диалог стал инструментом элайнмента – модель учили как студента.

Компания тем временем работала над следующей базовой моделью – GPT–4 – и решила применить тот же метод элайнмента. «Мы рассматривали это как способ повысить безопасность GPT–4», – рассказал член команды. К лету 2022 года OpenAI была готова представить GPT–4 совету директоров некоммерческой организации.

К 2022 году в совете директоров заседало уже девять человек: к ним присоединился Уилл Хёрд – бывший агент ЦРУ, инвестбанкир из Allen & Company и конгрессмен-республиканец. После массового исхода основателей Anthropic Холден Карнофски покинул совет – будучи супругом «перебежчицы» Даниэлы Амодеи, он столкнулся с конфликтом интересов. На свое место он порекомендовал соратницу по движению эффективного альтруизма Хелен Тонер.

Тонер выросла в Австралии. В школе она была типичной отличницей, увлекалась наукой и участвовала в модели ООН[334]. В Мельбурнском университете изучала химическую инженерию и арабский язык, там же примкнула к местному отделению сторонников эффективного альтруизма – Effective Altruism Melbourne. Идеи этой организации шли вразрез с традиционными карьерными советами наподобие «следуй за своей страстью», вместо этого призывая студентов мыслить беспристрастно и математически подходить к вопросу о том, как помочь максимальному числу людей. А с 2012 года, когда умы всего сообщества захватило глубокое обучение – спасибо прорывному исследованию AlexNet от Суцкевера, Крижевского и Хинтона, этот подход все чаще включал размышления о рисках ИИ. Тонер прошла легендарный курс Эндрю Ына по машинному обучению на Coursera – стандартную точку входа в профессию – и после выпуска в 2014 году перебралась в район залива Сан-Франциско, устроившись на работу в GiveWell Карнофски. Поначалу она занималась профилактикой малярии, но постепенно переключилась на ИИ. Когда от GiveWell Labs отделилась компания Open Philanthropy Project, Тонер перешла туда и помогла увеличить объем грантов с 20 до 200 миллионов долларов в год. С 2016 года ее специализацией стала политика в области ИИ – той весной она участвовала в тех же круглых столах администрации Обамы, что и Джек Кларк из OpenAI.

Эти дискуссии пробудили в Тонер особый интерес к вопросам национальной безопасности в контексте ИИ. Она решила провести год в Китае – подтянуть язык, который учила для души, и разобраться в китайских амбициях в сфере ИИ. Центр управления ИИ – исследовательский институт, финансируемый Open Philanthropy и изначально входивший в оксфордский Институт будущего человечества Бострома, – оформил ее как приглашенного неоплачиваемого исследователя на время пребывания в Китае. В 2018 году, не покидая Поднебесной, она выступила соавтором критической рецензии в журнале Foreign Affairs на книгу Кай-Фу Ли «Сверхдержавы искусственного интеллекта»[335]. Ли утверждал, что инженерная смекалка Китая вкупе с либеральным подходом к защите данных выведет страну в лидеры глобальной гонки ИИ-технологий. Тонер отдельно отметила, что китайские ИИ-инженеры неохотно обсуждали социальные последствия своей работы. В Кремниевой долине, напротив, только об этом и говорили.

Осенью 2018 года с Тонер связался Джейсон Мэтени. Прежде он был исследователем экзистенциальных рисков в Институте будущего человечества, а теперь возглавлял IARPA – правительственное агентство, занимающееся передовыми разведывательными технологиями. Мэтени набирал команду для нового аналитического центра при Джорджтаунском университете. К началу 2019 года Тонер помогла запустить