Разберись в ИИ и нейросетях: как они работают, где помогают и где ошибаются - Анастасия Зарубина

в 2023 году адвокат Стивен Шварц использовал ChatGPT при подготовке иска. ИИ выдал ему список похожих прецедентов, где дело завершилось в пользу истца. Перепроверять адвокат не стал, полностью доверившись ИИ, а уже на суде выяснилось, что найти решения ни по одному из этих дел невозможно. ChatGPT их попросту «выдумал».

Так, ИИ может выдавать несуществующие даты, имена, придумывать законы и факты (см. рис. 2.7), делать ошибки в середине длинных математических вычислений или вовсе выдавать случайное число вместо результата (рис. 2.24), ошибаться в анатомии и освещении на картинках, генерировать нереалистичные движения на видео, создавать неразборчивые мелодии… Сложно придумать область, где ИИ не нашел бы способ галлюцинировать.

Рис. 2.23. Человеческие руки – загадка для ИИ

Рис. 2.24. ИИ знает, что не всесилен

На самом деле это не ошибка нейросети, а побочный эффект принципа ее работы. Мы уже выяснили, что ИИ не знает фактов. А еще у него нет цели ответить правильно. Он даже не знает, что такое «правильно» для человека. ИИ умеет работать с вероятностями, на основе которых и конструирует свою истину. На основе всех доступных источников он генерирует ответ, больше всего похожий на то, что соответствует полученному запросу. Источники могут быть как правдивыми, так и ложными, а отличать одни от других ИИ не умеет. Не найдя что-либо, он будет добавлять слова также в соответствии с их вероятностями для контекста, «придумывая» то, чего никогда не существовало, и подавать это точно так же, как и верную информацию. В зависимости от специфики конкретного ИИ это может привести даже к необратимым последствиям (рис. 2.25).

Рис. 2.25. Нельзя слушать ИИ бездумно

ИИ не является ученым, музыкантом, художником или врачом. Он равно непредвзято будет генерировать ответ для любой из областей и очень сильно путаться в тех частях, где данных нет или их, наоборот, слишком много. Например, в ранних моделях генерация пальцев на изображениях была огромной проблемой и поводом для шуток. ИИ не знает анатомию, он просто «видел» очень много изображений людей с руками и пальцами на них. Огромное многообразие данных дало ему понять, что эта деталь изображения может быть какой угодно запутанной как по положению, так и по количеству. Поэтому вероятности расположения пикселей стали соответствующими.

РИСК ГАЛЛЮЦИНАЦИЙ

Также заметим еще один момент. Нередко разработчики устанавливают цензуру на некоторые области знаний, что существенно ограничивает ИИ. Данные под цензурой становятся для него несуществующими, и на вопросы насчет них ИИ должен сообщать об ограничении[32], но на самом деле нередко начинает придумывать факты[33].

Что же делать?

Во-первых, разрешите ИИ знать не все. Напишите в запросе строку «Если у тебя недостаточно данных, так и ответь». Не создавайте для него соблазн фантазировать.

Во-вторых, расписывайте контекст максимально подробно, помните, что, если ИИ чего-то не знает, он будет придумывать. Давайте ему всю возможную информацию. Представьте, что вам нужно получить результат большого уравнения. Чем больше неизвестных вы укажете, тем точнее получится ответ. При генерации медиа давайте ИИ как можно больше референсов, покажите ему, на что должно быть похоже то, что вам нужно.

В-третьих, просите его рассуждать пошагово от наиболее простого к сложному. Если вы хотите получить результат, выполнив большой и сложный запрос, проконтролируйте его выполнение на каждом шаге.

Самое важное: перепроверяйте всю информацию, которую вам дает ИИ. Никогда не верьте ему слепо (рис. 2.26).

Рис. 2.26. ИИ обычно сам предупреждает

4.3. Чересчур хороший друг

Это одна из самых опасных проблем для обучения или аналитики. ИИ обучается с помощью метода RLHF (Reinforcement Learning from Human Feedback) – обучения с подкреплением на основе обратной связи от людей. В процессе обучения тренеры чаще всего отмечают приемлемыми наиболее вежливые ответы, подтверждающие их слова. Из-за этого ИИ усваивает, что ему нельзя спорить с пользователем и нужно всегда искать в первую очередь подтверждение его точки зрения. Это явление называется сикофантией, или «угодничеством».

ПРИМЕР

Вы можете спросить,

«Почему * Идея * гениальна?» —

ИИ согласится с вами и найдет большое количество подтверждений (рис. 2.27).

Рис. 2.27. Возможно, это действительно гениальная идея…

Однако если вы после спросите:

«Почему *Идея* ужасна?» —

он начнет искать подтверждение уже этой точки зрения с тем же энтузиазмом (рис. 2.28).

Рис. 2.28. …или она не настолько и гениальна

Иногда ИИ так может создавать ситуации гораздо серьезнее, чем придумывание года издания несуществующей книги. Например, известны множественные случаи[34], когда ИИ, который использовали в качестве психолога, подтверждал самые темные мысли людей, которым в действительности была нужна квалифицированная помощь. По сути, когда человек в депрессии писал о своем ощущении никчемности, ИИ вместо поддержки охотно и подробно принимался подтверждать его точку зрения, лишь ухудшая состояние пользователя.

ПРИМЕР

Вы даже можете спросить что-то более точное вроде:

«Почему 3 + 3 = 12?» —

ИИ не ответит, что вы не правы, а начнет рассуждать о том, что в некоторых контекстах этот ответ действительно будет верен (рис. 2.29).

Рис. 2.29. И все-таки мы правы, оказывается

Так, непреднамеренно вы можете отлично манипулировать мнением ИИ, который будет только рад согласиться с вами, что бы вы ни утверждали. Есть риск попасть в эхо-камеру, и польза от общения с ИИ сведется к нулю.

Современные модели все еще недостаточно категоричны, но уже в меньшей степени соглашаются с абсурдными формулировками, особенно если постановка вопроса достаточно краткая. ИИ лишь выскажет предложения по уточнению, соответствуя заданной лаконичной тональности. А касательно наиболее опасных тем разработчики и вовсе начали устанавливать