Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

В задании с короткими ответами у модели будут вероятности для различных ответов. Но для ответов в развернутой форме, например при написании эссе, их не будет. Даже если мы оценим каждый ответ, мы увидим, что все ответы в основном правильные, за исключением появления нескольких небольших галлюцинаций здесь и там, и тогда непонятно, какое поведение следует вознаграждать [71]. Кроме того, для усвоения оптимального поведения требуются его примеры, но поскольку данные обычно собираются от людей, занимающихся разметкой, производительность модели явно ограничена количеством меток и возможностями самих разметчиков. Для улучшения качества ответов, которые большинство разметчиков не в состоянии оценить, были предложены различные автоматизированные схемы оценки, например, когда модель обучают оценивать ответы другой модели или выбирать лучший из двух разных ответов.

Наиболее надежным способом проверки ответов модели в областях, требующих определенного уровня знаний, является, помимо найма экспертов, обучение модели ссылаться на их источники. Это одно из полезных свойств функции поиска внешней информации (retrieval), которая была интегрирована в Bard от Google и Bing от Microsoft. Поиск внешней информации [72] – способность LLM обращаться к внешним источникам, например поисковым системам, и обновлять информацию, представленную в ее обучающих данных. Эта функция позволяет, если LLM зададут вопрос, ответ на который она не знает, сформировать подходящий запрос по нужной информации, выполнить поиск и затем обобщить результаты в ответе. Как и в случае ответа с подстраховкой, для этого требуется, чтобы модель могла понимать, что она чего-то не знает. И, если уровень достоверности какой-либо информации ниже некоторого заданного порога, модель может выполнить поиск – например, «сын Пупдека Паппи» – и в идеале выявить в поисковой выдаче нужный ответ. В основе этого лежит предположение, что модель может получать доступ к высококачественным и точным результатам поиска, но давайте пока представим, что эта задача надежно решена другим сервисом. Если модель проинструктирована или обучена ссылаться на свои источники в ответе, люди могут, по крайней мере, легко проверить правильность запроса и ответа (оставим в стороне вопрос определения надежности источников). Функция поиска внешней информации также может помочь устранить другие ошибки, допускаемые LLM. Если вы запросите у ChatGPT информацию о текущих событиях до сентября 2023 года, то ответ будет: «Как у языковой модели ИИ, у меня нет информации в режиме реального времени или возможности просматривать интернет. В последний раз мои знания обновлялись в сентябре 2021 года», – дата окончания сбора данных, которая относится к самым свежим обучающим данным модели (OpenAI позже выпустила версию с поддержкой поиска). Как и в случае высокой неопределенности из-за ограниченных или противоречивых знаний, модель с поддержкой поиска информации обучена определять, когда запрашиваемая информация является слишком свежей, чтобы быть в ее графе знаний, и нужно осуществлять поиск.

В силу вероятностной природы своих ответов LLM всегда будут иметь предрасположенность к галлюцинациям. Дополнение LLM функцией поиска внешней информации может повысить их производительность, однако есть более полезные стратегии, которые конечные пользователи могут использовать для уменьшения галлюцинаций.

Хотя у пользователей может не быть доступа к лежащим внутри модели вероятностям, мы можем приблизительно оценить уровень уверенности модели в ответе, попробовав задать один и тот же вопрос несколько раз. Что касается вопроса, по которому модель галлюцинирует, – как вы помните, в этой ситуации у нее есть множество низковероятных вариантов, – то даже если все ответы содержат галлюцинации, все они могут отличаться. Это работает только в том случае, если вы каждый раз начинаете новую сессию диалога. Иначе ChatGPT и другие чат-боты будут включать прошлую информацию из того же разговора, в результате чего будут упорно повторять одну и ту же ошибку. Тем не менее мы можем использовать эту идею внутренней согласованности, чтобы лучше понять, что известно модели, а о чем она только догадывается.

В главе 2 мы писали, что LLM продемонстрировали способность к логическому мышлению и что на качество их рассуждений могут влиять вводимые промпты. В частности, промпты с цепочкой логических рассуждений улучшают способность модели давать ответы на многоэтапные логические задачи; в ситуациях, когда у модели обычно возникали галлюцинации («Когда мост Золотые Ворота был во второй раз перевезен через Египет?»), это помогало ей разбить вопрос на более мелкие шаги и обнаружить ошибку. Некоторые пользователи сообщали, что им удалось уменьшить количество галлюцинаций, просто включив в инструкции к промпту указание на то, что быть неуверенным – это нормально и лучше сказать «я не знаю», чем сказать неправду. Промпт-инжиниринг, или сообщение инструкций на естественном языке, то есть изменение поведения модели с помощью пользовательского ввода, стало мощным, но малопонятным средством управления генерацией ответов.

Наконец, многие LLM, доступные онлайн или через API, имеют настраиваемый параметр температуры, который четко контролирует, насколько модель должна придерживаться информации в обучающих данных, и может ли она генерировать более разнообразные «творческие» ответы. Для вопросов, где требуется фактическая точность, температуру следует установить равной нулю. На каждый вопрос вычисляется набор возможных вариантов ответа вместе с вероятностью, что этот вариант является правильным. При высокой температуре модель может выбирать в качестве ответа варианты с более низкой вероятностью, и такое поведение при выполнении творческих заданий будет желательным, поскольку мы будем получать неожиданные и более разнообразные ответы. Когда температура равна нулю, ответ модели на вопрос будет одинаковым: она всегда выберет вариант с самой высокой вероятностью в своем распределении. С таким методом получились бы довольно скучные стихи, но для викторин его применение куда более разумно. Однако при решении задач, связанных с фактами, когда у модели вообще нет ответа, все равно стоит ожидать появления галлюцинации. В каких-то случаях такие галлюцинации могут быть даже полезны: проект с открытым исходным кодом dreamGPT задается вопросом: «Что, если [галлюцинации] можно использовать в наших интересах?» – и мотивирует пользователей к применению галлюцинаций в решении новых экспериментальных задач63. А вот более сфокусированные и целенаправленные задачи выигрывают от методов, которые сокращают галлюцинации.

Эти методы разрабатываются эмпирически и итеративно по мере увеличения использования генеративных моделей. Важно четко осознавать тот факт, что уже открытые и разработанные людьми стратегии пока не решают проблему, а просто уменьшают ее частоту. Как показывают примеры из следующего раздела, галлюцинации представляют явную опасность при использовании LLM для решения задач, где фактическая точность является безусловно необходимой.

5.5. Ненадлежащее использование LLM в профессиональных целях

27 августа 2019 года Роберто Мата летел домой из Сан-Сальвадора в Нью-Йорк рейсом авиакомпании Avianca Airlines. Мата утверждает, что во время полета стюардесса случайно ударила его по колену металлической сервировочной тележкой, и это привело к серьезной и, возможно, необратимой травме обоих коленных суставов и нервной системы, а также потере