Разберись в ИИ и нейросетях: как они работают, где помогают и где ошибаются - Анастасия Зарубина

можем определить исключительно из человеческих знаний о мире, которых у компьютера быть не может. Однако «Трансформер» отлично справляется с этой задачей (рис. 2.11). Анализируя всю последовательность токенов, он определяет, что если в конце фразы стоит tired («устало»), то it – animal («животное»), а если wide («широкое»), то – street («шоссе»).

Рис. 2.11. Примерно так «гадает» нейросеть[27]

Последовательность проходит через слои нейронной сети-трансформера, на каждом из которых выполняется параллельный анализ токенов. А этих слоев обычно не один и не два, а десятки (например, модель GPT‐3 имеет 96 слоев). Благодаря получению данных с предыдущего каждый следующий находит все новые закономерности, в конце концов складывая общую картину.

Используя механизм self-attention (самовнимание), ИИ, словно прожектор, выделяет каждый токен, определяя степень его взаимосвязи с другими. На первом слое определяется, что с большей вероятностью «оно» относится к животному, но и шоссе имеет определенный вес, отчего нельзя сейчас сделать однозначный вывод. На следующем нейросеть «видит», что «оно» устало, благодаря этому дополняет смысловую картину (рис. 2.12). Так, проводя фразу все дальше слой за слоем, ИИ понимает, что устать может только животное, но никак не шоссе.

Рис. 2.12. Последовательное прохождение по слоям[28]

Но ведь данные это не всегда только текст! Верно. Векторизовать можно абсолютно что угодно. Изображения – путем постепенного сжатия до размеров одномерного вектора, аудио – преобразуя его в спектрограмму и так далее. Получая запрос, содержащий смешанные данные, например пост, в котором есть сразу и текстовое описание, и картинка, ИИ параллельно запускает соответствующие модели с подходящими инструментами эмбеддинга, после чего собирает полученные векторы и продолжает работу уже с ними.

Итак, на выходе ИИ располагает большим количеством векторов, представляющих ваш запрос в полной мере. Какие-то из них находятся близко друг к другу, а какие-то очень далеко. А еще с ними можно производить любые операции из векторной алгебры. Что же дальше?

А дальше ИИ генерирует ответ, декодируя по одному токену за раз. На основе вашего запроса и имеющихся у него в распоряжении знаний он высчитывает, какое слово (а вернее токен) с наибольшей вероятностью должен быть выдан. Определив один, ИИ добавляет его к тексту и вновь запускает вероятностный прогноз, чтобы определить следующий.

По умолчанию будет добавляться токен, обладающий наибольшей вероятностью. Однако, ожидаемо, язык получится «иишным» и шаблонным, а ответы предсказуемыми. Для регулирования этого есть специальный параметр «Температура». Иногда разработчики даже выводят этот параметр в настройки, позволяя пользователю самому его регулировать, а иногда меняют его сами только для обладателей платной подписки. При низкой температуре ИИ будет выдавать токены с наибольшим весом, а более высокая делает его более креативным, а «речь» более живой и человечной.

ПРИМЕР

Запрос:

«Стоит начать утро с бодрящего…»

Если вы укажете ограничения, картина будет иной:

«Я терпеть не могу чай, поэтому стоит начать утро с бодрящего…»

Ответ ИИ:

Temperature = 0, высокая предсказуемость, всегда выбирает самый вероятный вариант.

«Стоит начать утро с бодрящего кофе».

Temperature = 0.7, баланс точности и креативности.

«Стоит начать утро с бодрящего сока, чтобы зарядиться витаминами».

Temperature = 1.5, высокая случайность, креативный и непредсказуемый.

«Стоит начать утро с бодрящего растопленного мороженого – если вчерашнее счастье не влезло, а выбрасывать жалко».

Источник иллюстрации блог Google AI: https://research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/.

Источник иллюстрации Аламмар Дж. The Illustrated Transformer. URL: https://jalammar.github.io/illustrated-transformer/.

2.2. Искусственная человечность

Даже зная всю техническую подноготную искусственного интеллекта, нет-нет да и ловишь себя на мысли, что общается он действительно как живой человек. И вот уже убеждать себя приходится, что это математическая модель, компьютер.

Это ощущение не случайно, и, конечно, его яркость ничего не говорит о степени одиночества пользователя или давности его общения с живыми людьми. Иллюзия человеческого общения – результат тщательных целенаправленных усилий разработчиков вкупе с закономерным результатом постепенного обучения ИИ.

Любую модель искусственного интеллекта изначально обучают на миллионах материалов, написанных живыми людьми. Здесь и художественные тексты, и статьи, и диалоги с форумов, и посты в соцсетях, и все остальное, что только можно встретить на просторах интернета. ИИ попросту выучил то, как общаются люди, как они формулируют ответы, какие реакции используют.

После этого наступает очередь обучения с подкреплением на основе отзывов людей (RLHF). Тренеры проверяют ответы ИИ на различные вопросы и дают этим ответам свою оценку, определяя их по множеству категорий, среди которых, помимо предсказуемого присутствия свойств репрезентативности и безопасности ответа, есть и оценки вежливости, тональности, структурированности, уместности и прочих более «человеческих» качеств. По сути, тренеры учат ИИ отвечать не только верно, но и эмоционально комфортно для человека, задающего вопрос.

На выходе получается модель, которая умеет имитировать нормы человеческого общения. Она использует разные тональности, от дружелюбной до светской и официальной, и может подстроиться под тон собеседника. Анализируя тон вашего общения, пишете вы сухо или используете обилие смайликов и эмоций, ИИ начинает «зеркалить», создавая иллюзию сопричастности (рис. 2.13 и 2.14).

Рис. 2.13. Алиса AI может быть очень дружелюбной

Научившись в общении с живыми людьми, ИИ отлично применяет вводные конструкции, а также способен использовать эмоциональные реакции, от юмора до сочувствия. Теперь шутки про ИИ как лучшего друга уже совсем не шутки, потому что он действительно умеет становиться собеседником, идеально подходящим именно вам.

Однако если бы все ограничивалось лишь формулировками и иллюзией эмоциональной сопричастности… ИИ еще и отлично запоминает контекст. Он не просто «зеркалит» ваш тон, но и будет поддерживать его на протяжении всего диалога. Каждый раз при генерации ответа он будет анализировать диалог, понимать подтекст ваших слов, строить причинно-следственные связи и, если вы используете ИИ как друга и собеседника, может даже попробовать составить вашу характеристику (конечно, на основе только тех данных, которые вы сами ему сообщали). Он всегда будет помнить все, что вы ему говорили, но с одним важным уточнением, имя которому – окно контекста (context window).