Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

После обучения, в процессе генерации ответов на запросы пользователей, LLM по-прежнему требуются графические процессоры и энергия для вычислений с использованием весовых коэффициентов, полученных в ходе обучения. Вычисления на этом этапе не являются такими объемными и дорогими, как при обучении, но модели нужно обрабатывать сотни или тысячи запросов одновременно, чтобы обслуживать сразу множество пользователей, из-за чего общие затраты возрастают. Согласно отраслевому анализу на апрель 2023 года, поддержка работы модели ChatGPT, которая отвечает на миллионы входящих запросов, обходится OpenAI в 700 000 долларов в день из расчета затрат на компьютерную инфраструктуру30. Инструменты для измерения потребления электроэнергии во время обучения можно использовать также и на стадии обработки запросов.

Рис. 9.2. Схема жизненного цикла LLMs31

Соотношение размера модели и количества ее вычислений с потреблением процессорного времени и углеродным следом также зависит от множества других факторов, определяемых инфраструктурой: старые чипы менее эффективны (другими словами, могут выполнять меньше операций в секунду) и потребляют больше энергии, не все источники питания одинаковы. На рис. 9.2 перечислены различные этапы жизненного цикла LLM, которые вносят вклад в общее энергопотребление. Каждый из этих этапов может создать сложности для получения полной картины воздействия LLM на окружающую среду, особенно когда некоторые детали не раскрываются по соображениям конкуренции.

Наиболее систематическая работа по документации воздействия LLM на окружающую среду была проведена на базе свободной для использования [124] языковой модели BLOOM с 176B параметрами, выпущенной группой BigScience в 2022 году. Создатели этой модели, среди которых была руководитель климатических инициатив в Hugging Face доктор Саша Луччиони, проанализировали углеродный след BLOOM с точки зрения энергопотребления во время обучения, а также учли дополнительные факторы, такие как энергопотребление в режиме ожидания, предполагаемые выбросы от серверов и графических процессоров и потребляемое электричество при эксплуатации модели31. «Поскольку методологии учета выбросов углерода не стандартизированы, было трудно проводить точное сравнение углеродного следа BLOOM и других моделей аналогичных масштабов», – отметили они, но, основываясь на общедоступной информации, подсчитали, что в ходе обучения BLOOM было выброшено около 25 тонн эквивалента CO2, а GPT‐3 – около 502 тонн. Эти 502 тонны эквивалента CO2 равны выбросам парниковых газов от 112 легковых автомобилей за год32. Хотя количество параметров и эффективность энергопотребления центра обработки данных для BLOOM и GPT‐3 были сопоставимы, интенсивность выбросов углерода в сети, используемой для BLOOM, была намного ниже, поскольку сети, поддерживающие аппаратное обеспечение BLOOM, питались от более чистых источников энергии (таких как гидроэлектростанция и солнечная энергия, но не уголь и не природный газ). Авторы также отметили, что многие поставщики вычислительных услуг уменьшают свои выбросы углерода за счет покупки углеродных кредитов – разрешений, которые позволяют организациям не учитывать определенное количество углеродных выбросов в своем балансе. Авторы не учитывали такие кредиты, принимая во внимание полные выбросы.

Вопрос о том, засчитывать ли эти выбросы углерода, – лишь один из десятков вопросов, которые должны решаться, когда речь заходит об экологических издержках или отчетности: какие стадии включить в анализ, как производить оценку неизвестных деталей цепочки поставок или инфраструктуры. Поскольку у разработчиков LLM есть очевидный стимул занижать по возможности углеродный след своих моделей, крайне важно перейти к более систематической отчетности в отрасли.

Беря пример с документации для BLOOM, другие команды тоже внедрили подобную методологию, пусть даже частично, и начали сообщать о воздействии на окружающую среду в рамках технического отчета. В техническом отчете Llama 2, например, указано время предварительного обучения в часах работы графического процессора, энергопотребление и выброс углерода в тоннах эквивалента углекислого газа (CO2‐эквивалент). Впервые на проблему энергопотребления LLM обратила внимание Эмма Струбелл, доцент кафедры компьютерных наук в Унверситете Карнеги – Меллона. В 2019 году она опубликовала статью, в которой сообщалось, что при обучении BERT было выброшено примерно столько же углекислого газа, сколько производят пять автомобилей за все время своей эксплуатации33. В течение последующих лет LLM стали еще больше, хотя теперь они, как правило, обучаются эффективнее и используют более чистую энергию. Струбелл назвала статью о BLOOM самым тщательным анализом воздействия LLM на окружающую среду на сегодняшний день и выразила надежду, что, следуя примеру Hugging Face, которая провела анализ для BLOOM (и в меньшей степени Meta [125] с ее отчетом для Llama 2), другие технологические компании тоже начнут изучать углеродный след от разработки своих продуктов34.

Безусловно, ИИ и технологический сектор в целом вносят не самый большой вклад в увеличение глобальных выбросов углекислого газа и энергопотребления. По оценкам, на долю общемирового технологического сектора приходится около 2 % глобальных выбросов углекислого газа34. Тем не менее было бы ошибкой не учитывать воздействие LLM на окружающую среду при рассмотрении их более широкого применения, особенно в связи с тем, что конкурирующие компании продолжают накапливать все больше графических процессоров и создавать модели все большего размера. Помимо того, что экологические оценки должны стать нормой в технических отчетах, Луччиони, Струбелл и другие представители сообщества машинного обучения настаивают на том, что нужно уделять больше внимание созданию небольших и более эффективных моделей вместо однонаправленного стремления к получению огромных и дорогостоящих LLM. В конкретных областях применения модели меньшего размера во многих случаях могут работать не хуже или так же эффективно, как и большие, при этом они обладают дополнительным преимуществом – их гораздо легче повторно использовать и тонко настраивать. Как мы обсудим в следующем разделе, этот подход дал впечатляющие результаты при меньших затратах как для разработчиков, так и для всей планеты.

9.4. Архитекторы будущего: сообщество свободного программного обеспечения

В мае 2023 года в интернет просочился внутренний документ исследователей Google «У нас нет уникального конкурентного преимущества, и у OpenAI его тоже нет», в котором говорилось, что ни у Google, ни у OpenAI нет решающих преимуществ в гонке за искусственный интеллект. «Пока мы препирались, третий участник игры перехватил инициативу. Я говорю, конечно, о свободном программном обеспечении. Проще говоря, они нас обгоняют»35. В документе авторы делают вывод, что «модели с открытым исходным кодом работают быстрее, обеспечивают лучшую приватность, они более настраиваемые и эффективные по сравнению с другими».

В главе 4 мы кратко обсудили движение за свободное ПО и на протяжении всей книги уделили особое внимание LLM с открытым исходным кодом. Учитывая их значительный вклад в экосистему LLM, мы более подробно остановимся на этом движении и его влиянии в гонке за ИИ, а также на положительных результатах и негативных последствиях. В определенном смысле 2023 год можно считать золотой эпохой для