Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

LLM с открытым исходным кодом. Заинтересованное в решении проблем, связанных с проприетарными (с закрытым исходным кодом) моделями, сообщество разработчиков свободного ПО укрепило свое положение благодаря совместному созданию функций, интеграций и даже целой экосистемы, вращающейся вокруг LLM. В документе Google авторы пытались разобраться с тем, какие последствия деятельности этого сообщества проявятся для проприетарных LLM.

Во-первых, давайте обсудим мотивацию движения за свободное ПО для LLM. Кроме того, что в проприетарных LLM данные и методы хранятся в тайне – и это вызывает опасения о предвзятости и прозрачности модели, – они также контролируются небольшой группой крупных технологических игроков. И наоборот, в LLM с открытым исходным кодом приоритет отдается прозрачности и сотрудничеству. Это дает разнообразие точек зрения, сводит к минимуму предвзятость, стимулирует инновации и в конечном итоге делает технологию более демократичной. Как подчеркнули исследователи Google, значительный прогресс, достигнутый сообществом разработчиков свободного ПО, не нужно недооценивать.

Весовые коэффициенты модели LLaMa, представленной исследовательскому сообществу 24 февраля 2023 года, неделей позже были слиты на 4chan (см. раздел 1.6.4). Хотя лицензия LLaMa на тот момент запрещала коммерческое использование, сообщество разработчиков LLM получило полную свободу делать с весовыми коэффициентами модели все что угодно. Внезапно любой желающий получил возможность проводить эксперименты с мощной и производительной на уровне GPT‐3+ большой языковой моделью. Чуть больше чем через неделю после утечки весовых коэфициентов, в Стэнфорде выпустили модель Alpaca – разновидность LLaMa, для которой была проведена тонкая настройка всего за пару сотен долларов. Исследователи из Стэнфорда сделали исходный код Alpaca открытым, показав разработчикам по всему миру, как проводить необходимую им тонкую настройку модели с минимальными затратами, что стало важной вехой в демократизации LLM. Это дало начало быстрым инновациям в сообществе разработчиков свободных LLM и вскоре привело к появлению нескольких моделей, непосредственно основанных на Alpaca или созданных по ее подобию. Всего через несколько дней были выпущены Vicuna, GPT4All и Koala. В каталоге моделей Hugging Face можно найти варианты моделей LLaMa (и Llama 2), которые прошли тонкую настройку. В июле 2023 года было принято решение сделать Llama 2 свободной как для исследовательского, так и для коммерческого использования, заявив: «На данный момент мы наблюдаем невероятный отклик – более 150 000 запросов на скачивание за неделю с момента выпуска, и нам не терпится узнать, что нас ждет в будущем»36. На рис. 9.3 мы показали хронологию появления важных LLM с открытым исходным кодом, которые были выпущены в период между появлением LLaMa и Llama 2.

Рис. 9.3. Хронология появления некоторых свободных LLM в период между выпуском LLaMa и Llama 2

Такая активность разработчиков LLM с открытым исходным кодом не должна нас удивлять. Разработчики и другие технические обозреватели заявили, что LLM переживают такой же этап развития, который был у Stable Diffusion. Как обсуждалось в предыдущих главах, Stable Diffusion – модель для преобразования текста в изображение (см. https://stability.ai/stablediffusion), которая стала общедоступной 22 августа 2022 года с лицензией, допускающей свободное коммерческое и некоммерческое использование. Всего через несколько дней благодаря этому событию произошел взрыв инноваций, дополнительно подогреваемый все более доступными и недорогими методами тонкой настройки, что привело к демократизации моделей преобразования текста в изображения. В отличие от DALL-E от OpenAI, Stable Diffusion имеет выстроенную вокруг нее богатую экосистему. Эта тенденция также напоминает рост числа альтернативных офисных пакетов с открытым исходным кодом, таких как LibreOffice или OpenOffice, в ответ на выпуск Office 365 от Microsoft.

Теперь, когда мы установили, что LLM с открытым исходным кодом получили толчок в развитии в 2023 году, стоит обсудить преимущества и недостатки свободных и проприетарных LLM (показаны в таблице 9.2). Мы уже подчеркивали важность прозрачности и открытости LLM, поскольку это способствует разнообразию взглядов, быстрым инновациям и минимизирует предвзятость. А также помогает снизить барьер входа и демократизирует влияние, которое сосредоточено в руках нескольких крупных технологических компаний. При развертывании LLM с открытым исходным кодом в безопасной среде появляется возможность обеспечить конфиденциальность данных, поскольку данные не отправляются для целей мониторинга или обучения моделей тем корпорациям, которые занимаются разработкой (обсуждается в главе 3). С другой стороны, у проектов с открытым исходным кодом может быть ряд недостатков и проблем, например: отсутствие централизованного управления, контроля качества, перспектив долгосрочного устойчивого развития, проблемы интеллектуальной собственности и другие. В отличие от проприетарных систем, которые имеют удобный API или веб-интерфейс, как ChatGPT, работа со многими LLM с открытым исходным кодом может требовать от пользователей определенного уровня технических знаний и опыта. Мы также должны подчеркнуть, что хотя прозрачность проектов с открытым исходным кодом помогает выявлять уязвимости, в то же время она позволяет злоумышленникам использовать слабые места в коде. Проприетарные LLM, как правило, проходят многомесячные испытания на безопасность и имеют меры защиты против генерации небезопасных ответов. К сожалению, LLM с открытым исходным кодом не обладают таким преимуществом, что может привести к катастрофическим последствиям в недобрых или даже благонамеренных руках.

Таблица 9.2. Характеристики LLM с открытым и закрытым исходным кодом

В главе 5 мы описали несколько способов, с помощью которых злоумышленники могут извлекать выгоду от использования LLM. Мы подробно рассмотрели роль, которую в связи с этим играют проприетарные LLM, однако важно отметить, что LLM с открытым исходным кодом также могут быть легко использованы для проведения злонамеренных атак: от извлечения выгоды через уязвимости, присущие LLM, до кибератак и операций влияния. Обладая некоторыми техническими знаниями и имея пару сотен долларов, злоумышленники могут легко провести тонкую настройку LLM с открытым исходным кодом, адаптировав ее для выполнения необходимой им задачи, а также обойти защитные механизмы, которые часто имеются в проприетарных LLM. Однако мы считаем, что у сообщества разработчиков открытого ПО тоже есть возможность совместно противостоять ненадлежащему использованию LLM или извлечению выгоды из них. Как мы уже подчеркивали в этом разделе, при разработке по принципам открытого исходного кода возникает шквал идей и инноваций, поэтому есть надежда, что сообщество, помими быстрой разработки новых LLM, также сосредоточит свои усилия на предотвращении использования моделей не по назначению или для проведения злонамеренных атак.

Наконец, мы хотим уделить внимание тем многочисленным способам, с помощью которых вы можете внести свой вклад в сообщество свободного ПО, независимо от вашего образования, навыков или опыта. Отличный способ подключиться к этой экосистеме – присоединиться к сообществу, например к Hugging Face (см. https://huggingface.co/) или scikit-learn (см. https://scikit-learn.org/). К таким сообществам несложно присоединиться, например участвуя в спринтах по разработке. Часто сообщества поддерживают определенные серверы или рабочие пространства в Slack, что облегчает выход на контакт с ключевыми