Разберись в ИИ и нейросетях: как они работают, где помогают и где ошибаются - Анастасия Зарубина

К сожалению, пока что это не редкость, а работа с ним – не только получение быстрых результатов, но и маневрирование между техническими ограничениями, ведь современные интеллектуальные модели еще далеки от идеала. Помимо уже упомянутых ошибок, встречаются и другие: ИИ путается в контексте, забывает информацию, становится «слишком хорошим парнем» и так далее. Рассмотрим все это подробнее и, конечно, разберемся, как избежать проблем, чтобы использовать доступные возможности эффективнее.

4.1. Проблемы с памятью бывают не только у людей

Предположим, вы занимаетесь автопереводом текстов. Вы пишете прекрасный промпт в соответствии со всеми правилами, учитываете самые мелкие детали, чтобы получить идеальный результат. Проверяя работу, вы пробуете перевести первые несколько отрывков и видите, что они действительно получаются отлично. Вдохновленные успехом, вы продолжаете работу, уже не настолько тщательно вычитывая полученные ответы. Но потом, переведя уже достаточно много, вы проверяете и с ужасом замечаете, что чем дальше идет текст, тем менее читаемым он становится. Если в самом начале это был образец литературного языка, дальше он начинает пестрить шаблонами, тавтологиями, неточностями в определении контекста (вспомним ранний пример про животное и шоссе), потерями целых кусков смысла из оригинала при появлении совершенно новых, «придуманных» самим ИИ… А как финальное крещендо и вишенку на торте этого безобразия вы видите, что ИИ начал и вовсе выдавать картинки, таблицы и совсем не нужную вам аналитику. Вы вздыхаете и отправляетесь выполнять всю работу заново, так как это проще, чем исправить уже полученное.

Так себе история, верно?

Ладно бы еще подобные проблемы были только в бесплатной версии. Но вот вы купили подписку, принялись за работу, а текст теряется. Неужели вас обманули?!

Стоп. Не спешите вершить мысленный страшный суд над разработчиками. Это явление называется ограничением контекстного окна.

Контекстное окно – это объем информации (в токенах), который языковая модель может одновременно «удерживать в памяти», анализировать и обрабатывать для генерации ответа. На самом деле маленькая кратковременная память – проблема как бесплатной, так и платной версий, только во втором случае надо приложить больше усердия, чтобы выйти за ее пределы, и это происходит немного позже[31].

Когда лимит исчерпывается, ИИ начинает «забывать» самые старые сообщения. Но ведь именно там хранятся написанные нами указания для него! Да, верно. Поэтому если чат длится очень долго, ИИ определяет, что от него хотят, не по изначальному промпту, а по своим предыдущим ответам. Представьте, что вы читаете книгу, но помните лишь последние десять страниц, по которым и определяете происходящее в строках перед вами.

КАК РАБОТАЕТ КОНТЕКСТНОЕ ОКНО

[Объем контекстного окна 128 000 токенов]

Запрос: «Переводи следующий текст с французского на английский язык».

– 20 токенов, осталось место для 127 980, запомнили 20

Ответ ИИ: «Понял! Жду текст!»

– 10 токенов, осталось место для 127 970, запомнили 30

↓

Фрагмент текста 1

– 270 токенов, осталось место для 127 700, запомнили 300

Перевод 1: [верно]

– 300 токенов, осталось место для 127 400, запомнили 600

↓

Фрагмент текста 2

– 600 токенов, осталось место для 126 800, запомнили 1200

Перевод 2: [верно]

– 700 токенов, осталось место для 126 100, запомнили 1900

↓

…

↓

Фрагмент текста 49

– 900 токенов, осталось место для 1000, запомнили 127 000

Перевод 49: [верно]

– 1000 токенов, осталось место для 0 токенов, запомнили 128 000

Контекстное окно закончилось, но текста еще нет.

↓

Фрагмент текста 50

– 300 токенов. Их у нас не осталось, ИИ освобождает место, забывая первые 300, а это: «Запрос» + «Ответ ИИ» + «Фрагмент текста 1».

ИИ забывает запрос, в котором мы просили только переводить на английский!

Сообщение 50: [перевод на русский язык, картинки по теме текста, таблица с анализом персонажей].

Возвратимся к примеру с переводом. К сообщению, генерируя ответ, ИИ уже не знает, что было написано в промпте, но «видит», что он в ответ выдавал вам текст. Значит, в новом ответе тоже должен быть текст. Но какой? ИИ продолжает анализировать, замечает, что где-то в одном из ответов он добавил оборот, которого не было в оригинале, а вы его приняли. Значит, надо добавить еще. И в итоге добавляет абзац текста, который вам совершенно не нужен.

Что же делать?

Когда вы видите, что ИИ уже учитывает изначальные указания недостаточно точно и начинает путаться в контексте, просите его подвести итог всей выполненной работе, написав: «Подведи итог всему, о чем мы договорились выше». После чего скопируйте этот итог и промпт (или напишите вместо него другие указания) в новый чат.

Автор этой книги лично потратил целый вечер на попытки выудить из ChatGPT хоть сколько-нибудь смешной анекдот вместо размытых текстов, смешных лишь для ценителей абсурдного юмора и метаиронии на почве киберпанка, в котором мы все очутились. Для сравнения: «Алиса» справилась с первой попытки, вспомнив все, что раньше печаталось на последней странице газет.

Важное уточнение: иногда даже на платной версии качество ответов ИИ с самого начала чата весьма низкое. Так бывает из-за перегрузки серверов. Здесь единственное решение – подождать некоторое время, когда нагрузка на них станет меньше.

4.2. Было бы смешно, если б не было так тревожно. Галлюцинации ИИ

Мы уже рассмотрели принцип работы ИИ, узнали, что на самом деле это сложная математическая модель, а не загадочное нечто, дающее ответы словно хрустальный шар. Прежде чем увидеть свет, каждый ИИ проходит долгий процесс тщательного построения при помощи множества алгоритмов и огромного количества строк кода. Далее его долгое время обучают, специальные тренеры указывают, что хорошо, а что плохо. Лишь после этого ИИ торжественно появляется перед интернет-сообществом. Казалось бы, так много операций, каждая из которых предсказуема и подконтрольна. ИИ явно тоже должен быть предсказуем.

Но на самом деле все иначе. Иногда вместо нужного ответа ИИ выдает нечто совершенно неожиданное. Это так называемые галлюцинации ИИ – уверенный ответ, на первый взгляд выглядящий полностью логично и верно, но при более пристальной проверке становится очевидно, что перепутано по меньшей мере все.

Это может быть как предметом шуток, например известная проблема с генерацией человеческих рук (рис. 2.23), так и источником серьезных проблем. Так, например