Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Одной из инноваций, появившихся около десяти лет назад, стал класс моделей, известных как sequence-to-sequence (или seq2seq).[*2] Модели seq2seq основаны на рекуррентных нейронных сетях (РНС) и различных их модификациях. В отличие от стандартной (или «базовой») нейросети, РНС обрабатывает информацию циклически, так что каждое состояние активности влияет на последующее на следующем временном шаге. Это позволяет сохранять информацию о прошлом во времени благодаря внутренней динамике активации (или «скрытому состоянию»). Таким образом, РНС обладают своего рода кратковременной памятью, которую они могут использовать для предсказания следующего элемента в последовательности. Используя этот циклический процесс, РНС может взять последовательность языковых единиц любой длины (например, первые сорок пять слов из приведенного выше отрывка) и сжать все входные данные в набор чисел, называемый вектором контекста. Вектор контекста — это числовое представление смысла всего предложения или отрывка, которое при запросе может быть использовано для генерации правдоподобных продолжений последовательности токенов (отсюда и название: «от последовательности к последовательности»). Где-то внутри вектора контекста для приведенного выше примера скрыто понятие «Япония», что делает наиболее вероятным завершением фразы «трудности в общении на» тесно связанное с ним слово «японском». Некоторым РНС помогает алгоритмическая функция, называемая гейтингом, которая позволяет им динамически включать и выключать отдельные фрагменты памяти — и, таким образом, помнить то, что нужно, в нужное время. Одной из таких версий является сеть долгой краткосрочной памяти (Long Short-Term Memory, или LSTM) — названная так потому, что гейтинг позволяет «краткосрочной» памяти парадоксальным образом растягиваться на много шагов назад в прошлое.[*3]

Примерно к 2015 году модели seq2seq начали выдавать предложения, грамматика которых была в целом правильной. Одной из грамматических трудностей, на которых часто спотыкаются как маленькие дети и студенты по обмену, так и ранние системы ИИ, является согласование слов. Например, в английском языке правильная форма глагола зависит не от предшествующего слова, а определяется подлежащим предложения, которое могло стоять на несколько слов раньше. Рассмотрим эти два предложения:

The planets that orbit the star in a galaxy far, far away are gaseous.

The planets that orbit the star in a galaxy far, far away is gaseous.

Любой человек, свободно говорящий по-английски, знает, что первое предложение верно, а второе — нет. Это связано с тем, что подлежащее предложения — planets — стоит во множественном числе, а потому требует формы множественного числа соответствующего глагола to be (are). Но без понимания всей структуры предложения у языковой модели (или невнимательного студента) может возникнуть соблазн использовать форму единственного числа is, поскольку перед глаголом стоят два существительных в единственном числе (star и galaxy). Модели seq2seq на базе РНС в большинстве случаев оказались способны удерживать правильную согласующуюся форму глагола, несмотря на «соблазны» в виде промежуточных слов. РНС также смогли корректно обрабатывать ряд сложных синтаксических правил английского языка, таких как зависимость филлера и гэпа (filler-gap dependency), синтаксические «острова» и присвоение падежа, для описания которых лингвисты десятилетиями изобретали замысловатые правила.[*4]

Ранее мы видели, что исследователи смогли заглянуть внутрь пространства эмбеддингов нейросети, чтобы построить реляционную геометрию таких слов, как «woman» (женщина), «queen» (королева) и «king» (король). Тот же трюк исследователи могут проделать и с моделями seq2seq — с той лишь разницей, что теперь мы можем использовать вектор контекста РНС для визуализации геометрии целых предложений. Это открывает один из путей к пониманию того, как нейросети могут кодировать грамматические правила, например порядок слов «подлежащее-сказуемое-дополнение» (SVO) в английском языке. В одном исследовании изучался контекстный слой РНС, обученной на базе данных англо-французского перевода объемом 300 миллионов слов. Оказывается, что предложение «John is in love with Mary» (Джон влюблен в Мэри) группируется вместе с «John admires Mary» (Джон восхищается Мэри) и (на небольшом отдалении) «John respects Mary» (Джон уважает Мэри). Отсюда мы можем сделать вывод, что «love» (любовь) представляет собой среднеарифметическое числовое значение между «admiration» (восхищение) и «respect» (уважение) (что лично мне кажется вполне логичным). Обратные предложения «Mary is in love with John» (Мэри влюблена в Джона), «Mary admires John» (Мэри восхищается Джоном) и «Mary respects John» (Мэри уважает Джона), в которых порядок подлежащего и дополнения изменен на противоположный (что меняет и направление любовных чувств), расположены в пространстве эмбеддингов аналогичным образом относительно друг друга, но смещены по другой оси.[*5] Иными словами, в скрытом состоянии РНС существует измерение, которое кодирует значение, задаваемое порядком подлежащего и дополнения (то есть кто и что к кому чувствует).

Рисунок 2. Пространства эмбеддингов для предложений с синтаксической формой «x ⊗ y», где ⊗ — это глагол вроде «admires» (восхищается), «loves» (любит), «respects» (уважает), а x и y — это John и Mary или Mary и John. В пространстве эмбеддингов LSTM они лежат на двух осях, одна из которых кодирует роль (кто является x, а кто — y), что отражает синтаксис предложения; в то время как другая ось представляет степень уважения, кодируемую глаголом ⊗.

Хомскианцы утверждали — и продолжают утверждать, — что статистические подходы к языковому моделированию обречены на провал, поскольку они отбрасывают любое явное понятие синтаксиса. Они заявляют, что статистические модели никогда не смогут отличить фразы «rabbit chases fox» (кролик преследует лису) и «fox chases rabbit» (лиса преследует кролика) (как обсуждалось выше на примере языка L*), потому что соседство слова «fox» (лиса) со словом «rabbit» (кролик) в корпусе текстов не говорит о том, кто и что делает по отношению к кому. Вместо этого Ноам Хомский и его последователи полагают, что мы рождаемся с предопределенным пониманием правил, по которым строятся и преобразуются предложения для передачи смысла. Таким образом, наша способность интерпретировать порядок слов «подлежащее-сказуемое-дополнение» в английском языке обусловлена врожденными (хоть и неочевидными) мозговыми процессами, присутствующими уже при рождении. Однако появление моделей seq2seq нанесло серьезный удар по этому аргументу, показав, что нейросети способны научиться демонстрировать именно те виды языковой компетентности, которые Ноам Хомский считал принципиально невозможными для нечеловеческого субъекта, осваивающего язык.

Модели seq2seq позволили сделать шаг вперед в создании грамматически корректных систем обработки естественного языка (NLP) и оказались особенно полезны для машинного перевода. Однако при генерации связных текстов им по-прежнему с трудом давалось создание произведений, осмысленно структурированных во времени — так, как это без малейших усилий делает человек, когда говорит или пишет. Вот пример модели seq2seq 2015 года,