Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

обучающих данных ни одного предложения о том, как мост Золотые Ворота перевозился через Египет, но усвоил шаблон для ответа на такой тип вопроса, то выдвинул свое предположение. Он, в отличие от человека, не смог догадаться, что это вопрос с подвохом и упомянутое событие никогда не происходило. Такие галлюцинации могут использоваться при создании злонамеренной трактовки событий, поскольку люди могут задавать наводящие вопросы и приводить ответы модели в качестве доказательства своих утверждений.

ГАЛЛЮЦИНАЦИИ появляются, когда модель создает предположения о знании, в котором она не уверена из-за ограниченной или противоречивой информации.

LLM – это очень большие нейронные сети; после их обучения мы можем считать, что каждая LLM обладает определенным набором знаний, который будет зависеть от данных, размера модели, архитектуры и других технических деталей обучения. В своем выступлении в Калифорнийском университете в Беркли Шульман описывает LLM как систему, имеющую граф знаний, хранящийся в весовых коээфициентах нейронной сети. Граф знаний – это концептуальный инструмент, который представляет знания в виде набора отдельных сущностей в форме узлов и ребер, соединяющих их61. Небольшой граф знаний, содержащий несколько таких сущностей и связей, показан на рис. 5.8 ниже.

ГРАФ ЗНАНИЙ – это концептуальный инструмент, который представляет знания в виде набора отдельных сущностей в форме узлов и ребер, соединяющих их.

Рис. 5.8. Пример графа знаний

Если мы представим себе граф знаний LLM, то здесь с каждым ребром может быть связан определенный уровень достоверности, основанный на данных предварительного обучения59. Затем каждая LLM может проходить тонкую настройку на специализированных наборах данных, таких как ответы на вопросы или выполнение инструкций. И если предварительное обучение производится по схеме без учителя, то во время тонкой настройки, по схеме с учителем, модели даются пары ввода и вывода, по которым она может учиться. Важно отметить, что эти наборы данных отличаются от данных предварительного обучения, в которых может и вовсе не содержаться та информация, которая затем встречается в примерах на этапе тонкой настройки. Учитывая, что данные предварительного обучения содержат триллионы слов и внутренняя работа такой нейронной сети довольно непрозрачна, невозможно определить, какие знания на самом деле содержатся в графе знаний модели.

Рассмотрим тонкую настройку модели для ответов на вопросы общего характера с использованием такого набора данных, как TriviaQA62. Пример вопроса из данных TriviaQA звучит так: «Кто самый известный сын Пупдека Паппи?» (правильный ответ – Попай, моряк из одноименного комикса Э. К. Сигара). Если вернуться к концепции графа знаний модели, предложенной Шульманом, то этот тип тонкой настройки похож на обучение модели определять правильные ответы на основе связей, существующих в ее графе знаний. Если в графе знаний модели уже есть некоторые сведения о Пупдеке Паппи и Попае, например почерпнутые из данных предварительного обучения, то это будет полезным примером для подобного обучения. Однако если модель не имеет никакого представления о Пупдеке Паппи и Попае, то этот тип тонкой настройки успешно научит модель выдумывать неверные ответы. Поскольку в графе знаний модели нет ни Попая, ни Пупдека Паппи, ни связи между ними, и соответственно, нет никакой возможности вычислить правильный ответ, модель усваивает только, как должен выглядеть правильный по лингвистической форме ответ, но не более того.

Хотя это создает серьезную уязвимость в отношении фактической точности ответов модели, не все надежды потеряны. Правильные ответы на вопросы из TriviaQA обычно коротки, поэтому очень похожи на задачу по предсказанию токена, чему модель была изначально обучена. Для решения такой задачи нейронная сеть вычисляет вероятности для всех возможных токенов из ее словаря, а затем генерирует токен с наибольшей вероятностью. Это означает, что для подобных задач модель действительно обладает некоторой степенью неопределенности. Эти вероятности соответствуют ребрам графа знаний или представлениям об уровне уверенности модели в определенном фрагменте знаний. В предложении «Столица Франции – это…» модель может вычислить с вероятностью 99 %, что следующее слово будет «Париж», и с 1 % – «Ницца». Другими словами, модель практически уверена, что столицей Франции является Париж. В более двусмысленном предложении может быть несколько слов со значительной вероятностью оказаться следующим. На рис. 5.9 показан пример предложения с несколькими возможными вариантами завершения. В предложении, в котором есть сущности, для которых модель вообще не изучала информацию, – скажем, если ее просят составить биографию несуществующего человека – могут быть сотни тысяч возможных слов, каждое из которых имеет очень небольшую, но ненулевую вероятность. Ситуация, когда все возможные ответы являются маловероятными, напоминает произвольное гадание и приводит к галлюцинациям.

Рис. 5.9. Вероятности, полученные LLM при прогнозировании следующего токена в предложении

Для решения этой проблемы можно заставить модель перестраховываться при получении низких вероятностей, то есть научить ее отвечать: «Я не знаю», – но в настоящее время многие модели в этом не очень хороши. Научить модель генерировать ответ «Я не знаю» – непростая задача по той же причине, по которой тонкая настройка приводит модель к галлюцинациям, если нет обучающих примеров в графе знаний модели. Если в примерах тонкой настройки есть случаи, когда ответ на вопрос указан как «Я не знаю», притом что ответ присутствует в графе знаний модели, та может научиться утаивать информацию в некоторых обстоятельствах. Поэтому Шульман, среди прочих, предположил, что проблема «правдивости» LLM должна решаться методами обучения с подкреплением или обучения воспроизводить желаемое поведение, а не путем обучения с учителем, то есть на размеченных данных. Кроме того, выходные данные должны включать случаи, в которых желаемым поведением будет оспаривание первоначального утверждения пользователя или признание ошибки. Теоретически затем модель могла бы научиться правильному поведению и в тех случаях, когда вероятности ответов ниже некоторого порога достоверности, тогда она бы отвечала или «Я не знаю» (при отсутствии знания); или отвечала с исправлением (при получении входных данных типа «Когда Ницца стала столицей Франции?»). На рис. 5.10 показано, как могла бы выглядеть идеализированная функция вознаграждения, где модель получает самую большую награду за правильный ответ без перестраховки и самое серьезное наказание за неправильный ответ без перестраховки, а если она перестраховывается или отвечает нейтрально, то награда находится где-то посередине.

Рис. 5.10. Идеализированная функция вознаграждения для модели, которая учится выражать неопределенность

Хотя этот подход выглядит многообещающим и кажется более надежным, остается много нерешенных проблем, связанных с уменьшением галлюцинаций у LLM. Даже лучшие модели все еще генерируют галлюцинации, иногда из-за ошибок в разметке или из-за неопределенных случаев, когда требуется высказать догадку. Другая нерешенная проблема заключается в том, как правильно выразить уровень определенности или неопределенности модели на естественном языке, чтобы пользователь