Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

То, как исследователи ИИ определяют внимание, несколько расходится с тем, как этот термин используют психологи (да и все остальные), но хорошо передает суть: обработка информации должна быть избирательной — вы не сможете сосредоточиться на домашнем задании, если залипли в YouTube. На самом деле внимание впервые начали использовать в моделях seq2seq еще до появления трансформеров, чтобы увеличивать или уменьшать вес отдельных частей входной последовательности при прогнозировании следующего слова. Но трансформер доводит концепцию внимания до предела. Алгоритм, описанный в статье 2017 года, полностью отказывается от RNN, задействуя вместо этого нейросеть, которая обрабатывает всю входную последовательность параллельно. Она использует разновидность внимания, называемую «самовниманием» (self-attention), чтобы делать акцент на каждом элементе i при прогнозировании j (отсюда и название: «Внимание — это всё, что вам нужно»).

Чтобы понять, почему самовнимание так полезно при работе с языком, рассмотрим задачу продолжения двух следующих запросов:

As I approached the ancient tree, Naeema said that its bark was _______

As I bent down to stroke the dog, Naeema said that its bark was _______

В английском языке слово bark многозначно — оно имеет более одного значения. Поэтому вам нужно вернуться к началу запроса, чтобы понять, что первое bark относится к дереву, а второе — к собаке. Эта информация жизненно важна для понимания того, будет ли лучшим продолжением «used for curing fever» (используется для лечения лихорадки) или «worse than its bite» (хуже своего укуса). Самовнимание — это вычислительный трюк, позволяющий выяснить, что с чем связано во входных данных. На самом деле оно обучается двум матрицам параметров, «ключу» (key) и «запросу» (query), которые (при умножении на векторы признаков соответствующих слов i и j) дают вес внимания.[*3] Это позволяет сетям-трансформерам усвоить, что слово «tree» (дерево) связано с «bark» в первом запросе, а «dog» (собака) связано с «bark» во втором, что значительно повышает вероятность получения разумного продолжения фразы.

Этот пример напоминает нам, что языковое моделирование, как и прогнозирование погоды, — это прежде всего умение разобраться, что с чем связано. Анализировать предложения трудно, поскольку связи в последовательности входных данных часто становятся очевидны только задним числом. Трансформер превосходит другие модели в языковом моделировании, потому что, в отличие от RNN (которая «откусывает» входные данные слово за словом), он заглатывает запрос целиком. Это позволяет ему использовать самовнимание, чтобы определять, как каждое слово соотносится со всеми остальными предшествующими словами (и его конкретной позицией в предложении). Представьте, что я прошу вас составить план рассадки гостей для званого ужина, но с одним условием: я буду называть имена гостей по одному, а вы должны сразу же распределять их по местам. Слыша каждое имя, вы, возможно, будете мысленно группировать гостей на основе дружбы, общих интересов или прошлых романтических отношений, на ходу набрасывая возможный план рассадки. Однако это было бы невероятно трудно, ведь вы не знаете, кто будет следующим: последний гость в списке в итоге может оказаться зажатым между бывшим возлюбленным и грозным боссо. С похожей проблемой сталкивается и RNN, которая принимает входные данные последовательно. Ваш мысленный план рассадки похож на векторное пространство эмбеддингов в контекстном векторе модели seq2seq, который собирается по кусочкам из входных данных и не может быть скорректирован при появлении новой информации. Трансформер же обладает роскошной возможностью получить весь список гостей целиком. Если бы у меня был весь список на листе бумаги, я мог бы мысленно сопоставить людей с местами, обратившись к своему внутреннему знанию о том, какие пары гостей дружат, а какие враждуют (кто с кем ладит) — процесс, очень похожий на самовнимание. Очевидно, что такой способ планирования вечера был бы куда более эффективным.

Еще одна причуда языка, с которой трансформер легко справляется, заключается в том, что значение местоимения часто можно определить только из контекста. На это впервые указал в 1972 году Терри Виноград, создатель вышеупомянутой SHRDLU, приведя в качестве примера пары предложений, иллюстрирующих эту трудность. Рассмотрим следующие:

Полиция отказала демонстрантам в разрешении, потому что они боялись насилия.

Полиция отказала демонстрантам в разрешении, потому что они призывали к насилию.

Чтобы понять, что «они» относится к полиции в первом предложении и к демонстрантам во втором, можно предположить, что полиция боится насилия, а демонстранты к нему призывают, а не наоборот (что может быть как правдой, так и неправдой). В 2011 году, почти сорок лет спустя после первоначального наблюдения Винограда, эта лингвистическая загадка превратилась в полноценное испытание для обработки естественного языка (NLP), известное как тест схем Винограда (Winograd Schema Challenge). В рамках этого теста системам ИИ предлагалось интерпретировать тщательно подобранный набор схем в соответствии с человеческим здравым смыслом. Это оставалось одним из самых сложных бенчмарков в языковом моделировании, пока не появился трансформер. Он преодолел это испытание играючи, даже не запыхавшись, и теперь тест схем Винограда представляет в основном лишь исторический интерес.[*4]

Преимущества трансформера проявляются во многом. В машинном переводе одна из частых трудностей заключается в том, что в разных языках может быть несовместимый порядок слов. Например, фраза European Economic Zone («Европейская экономическая зона») переводится на испанский как Zona Económica Europea, требуя от сети избегать переводческого ляпа Europea Económica Zona. В других языках эта проблема стоит еще острее. В корейском языке предложение I want to try out a suit I saw in a shop that’s across the street («Я хочу примерить костюм, который видел в магазине через дорогу») может быть переведено как 저는 거리 건너편 가게에서 본 정장을 시도해 보고 싶습니다, что при обратном дословном переводе на английский звучит как I street across in a shop saw a suit try out want to — радикальное перемешивание порядка слов, при котором второе слово становится предпоследним, а последнее — вторым! К счастью, трансформер способен обучаться весам внимания, которые связывают каждое слово с его соответствующим эквивалентом (независимо от порядка), что существенно помогает в работе.

Английские предложения также могут сбить вас с толку, навязывая неверную синтаксическую структуру из-за привычного словоупотребления. Классические примеры таких случаев называют предложениями «садовой дорожки» (garden-path sentences), потому что их структура заводит вас в тупик (в английском языке это описывается идиомой «вести по садовой дорожке»), заставляя предполагать неверный разбор на именную группу (NP) и глагольную группу (VP). Например, если вы услышите предложение the old man the boat,