Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

задачей для LLM является арифметика. Задания часто представляют собой простые арифметические действия: сложение, вычитание или умножение с 2–5 числами. LLM выполняют такие задания с ошибками и не демонстрируют стабильные результаты, поэтому мы не можем сказать, что они «понимают» арифметику, однако результаты оценки GPT‐3 показывают, что выполнять очень простые арифметические задачи они способны. Примечательной в области математики является модель Facebook[14] AI Research Transformer, обученная решать дифференциальные уравнения и интегралы. Когда модели задавали задачи, которые она еще не видела (то есть уравнения, которые не были частью обучающих данных), она превосходила системы, основанные на применении алгебраических правил, такие как MATLAB и Mathematica19.

Еще одно применение, заслуживающее обсуждения, – это здравый смысл или логические рассуждения, когда модель пытается уловить смысл фактических или научных обоснований. Это отличается от понимания прочитанного или генерации ответов на общие тривиальные вопросы, поскольку требует от модели определенного понимания окружающего мира. Успехов добилась языковая модель Minerva от Google Research, которая способна отвечать на математические и научные вопросы с помощью пошаговых рассуждений20. GPT‐4 прошел проверку на различных академических и профессиональных экзаменах, включая Единый экзамен для юристов (Uniform Bar Examination), тест для поступления в юридический колледж (LSAT), тест оценки успеваемости (SAT) по чтению, письму, математике, вступительные экзамены для выпускников (GRE), экзамены по физике, статистике, математическому анализу и многое другое. На большинстве этих экзаменов модель показала результаты на уровне человека и, что примечательно, сдала Единый экзамен для юристов, набрав на 10 % больше баллов, чем биологические образцы18.

В последнее время в юридической практике все чаще используют LLM, например, в инструментах для обобщения документов, в юридической экспертизе, для повышения доступности услуг в этой области и для помощи в юридическом обосновании. В марте 2023 года юридическая ИИ-компания Casetext представила инструмент CoCounsel – первого юридического помощника с искусственным интеллектом, созданного в сотрудничестве с OpenAI на их самой продвинутой LLM21. CoCounsel может выполнять различные юридические задачи, такие как юридические исследования, обзор документов, подготовка свидетельских показаний, анализ контрактов и многое другое. Harvey AI – аналогичный инструмент, который помогает в решении таких задач, как анализ контрактов, юридическая экспертиза, судебные процессы и соблюдение нормативных требований. Компания Harvey AI сотрудничала с одной из крупнейших юридических фирм мира Allen&Overy, а также объявила о стратегическом партнерстве с PricewaterhouseCoopers (PwC)22.

1.4.6. Другие задачи на естественном языке

Как и следовало ожидать, большие языковые модели также хорошо подходят для решения множества других лингвистических задач. LLM уже давно и широко используются для машинного перевода, автоматизируя перевод между языками. Как обсуждалось ранее, на самом деле машинный перевод был одной из первых задач, которую поставили перед компьютерами еще 70 лет назад. Начиная с 1950‐х годов, эту задачу решали путем переноса лингвистических правил в компьютерную программу, что было не только вычислительноемким и времязатратным процессом, но и требовало набора компьютерных инструкций с полным словарным запасом для каждого языка и множеством типов грамматик. К 1990‐м годам американская многонациональная технологическая корпорация International Business Machines, более известная как IBM, внедрила статистический машинный перевод, поскольку исследователи предположили, что если они просмотрят достаточное количество текстов, то смогут найти закономерности в переводах. Это стало огромным прорывом в области перевода и привело к запуску в 2006 году Google Translate, в котором использовался статистический машинный перевод. Google Translate стал первым коммерчески успешным применением NLP и, возможно, наиболее известным. Область машинного перевода изменилась навсегда в 2015 году, когда компания Google стала использовать большие языковые модели и получать гораздо более впечатляющие результаты. В 2020 году Facebook Inc [15]. анонсировал выпуск первой многоязычной модели машинного перевода, которая позволяет переводить между любыми ста парами языков напрямую, минуя английский, – еще одна важная веха в области машинного перевода, поскольку теперь уменьшилась вероятность потери смысла при итерациях23.

Еще одним практическим применением является реферирование текста, то есть создание его краткой версии, в которой выделяется наиболее важная информация. Существует два типа методов реферирования: извлекающий (экстракция) и генерирующий (абстракция). Извлекающее реферирование связано с выделением наиболее важных предложений из длинного текста, которые объединяются в кратком обзоре. А вот генерирующее реферирование перефразирует текст и формирует краткий обзор, что похоже на написание «аннотации», которая может содержать слова и предложения, отсутствующие в исходном тексте.

Существуют и другие разнообразные области применения, например приложения, которые могут исправлять грамматику английского языка, изучать и использовать новые слова, а также решать лингвистические головоломки. Вот пример того, как GPT‐3 может изучать и использовать новые слова: модели дается определение несуществующего слова, например «гигамуру», а затем ее просят использовать его в предложении. Такие компании, как Grammarly и Duolingo, быстро внедряют LLM в свои продукты. В марте 2023 году Grammarly, популярный инструмент для проверки грамматики и орфографии, представил новую версию GrammarlyGO, в которой для генерации текста применяется ChatGPT (см. http://mng.bz/D9oa). Также в марте 2023 года Duolingo представила версию Duolingo Max, в которой GPT‐4 используется для реализации таких функций обучающей платформы, как «объясните мой ответ» и «ролевая игра» (см. http://mng.bz/lVvB).

1.5. В чем недостатки LLM?

Несмотря на то, что большие языковые модели достигли беспрецедентного успеха в решении самых разнообразных задач, стратегии, которые привели LLM к их нынешнему взлету, в то же время сопряжены со значительными рисками и ограничениями. Обучающие данные для LLM несут в себе риски, и это связано, в частности, с тем, что они неизбежно содержат в себе множество взглядов и убеждений, которые модель, по мнению разработчиков LLM, не должна воспроизводить. Кроме того, здесь есть риски, связанные с непредсказуемостью выходных данных LLM. Наконец, нынешний ажиотаж в создании и использовании LLM в повседневных задачах заставляет задуматься о последствиях еще большего увеличения энергопотребления.

1.5.1. Обучающие данные и предвзятость

Большие языковые модели обучаются на огромных объемах текстовых данных. Таким образом, для создания модели, которая сможет качественно сгенерировать естественно написанные формулировки, крайне важно собрать огромное количество текстов, идеально написанных человеком на естественном языке. К счастью, в интернете уже существует и легко доступно достаточное количество текстового контента. Конечно, количество – только одна часть уравнения; качество – гораздо более крепкий орешек.

Компании и исследовательские лаборатории, которые обучают LLM, собирают наборы данных с сотнями миллиардов слов из Интернета. Самые распространенные текстовые корпусы для обучения LLM [16]– это Wikipedia и Reddit, а также Google News и Google Books. Wikipedia, вероятно, является наиболее известным источником данных для LLM, и у нее есть много преимуществ: тексты здесь написаны и отредактированы человеком; это, как правило, достоверный источник информации благодаря активному сообществу фактчекеров; она написана на сотнях языков. Другой пример – Google