Токен за токеном - SeNS Boston

соответствующий глагол в исходнике; переводя подлежащее, посмотреть на подлежащее. Не на одно фиксированное «сжатое представление» всего предложения, а на динамически выбранные релевантные куски.

Для этого Богданау добавил в архитектуру seq2seq дополнительную небольшую нейронную сеть, которая в каждый момент времени, при генерации очередного слова перевода, оценивала: насколько важно сейчас каждое из слов исходника? Получались веса, по одному на каждое слово исходника, которые в сумме давали единицу. После этого декодировщик использовал не один вектор контекста, а взвешенную сумму всех векторов исходного предложения, с этими динамически вычисленными весами.

Этот механизм Богданау, его руководитель Бенгио и третий соавтор Кюнг-Хюн Чо назвали attention, что обычно переводится на русский как «внимание», но в специальной литературе чаще оставляют английский термин. Статья появилась на сервере препринтов arXiv в сентябре 2014 года, через несколько недель после публикации Илиной seq2seq, и под названием «Neural Machine Translation by Jointly Learning to Align and Translate». Через несколько месяцев её представили на конференции ICLR 2015.

Кёнхён Чо, NeurIPS 2025

Эффект был мгновенный. С добавлением механизма внимания качество перевода на длинных предложениях драматически выросло; нейронный машинный перевод по совокупности метрик впервые в истории сравнялся с лучшими статистическими системами, а на некоторых языковых парах — обошёл их. К концу 2014 года в академическом сообществе стало понятно, что эпоха статистических систем перевода идёт к концу.

Google переключает рубильник

Конкуренция между академическими публикациями была ничем по сравнению с тем, что происходило внутри корпоративного Google в 2014–2016 годах. Google Translate, запущенный в 2006 году и за восемь лет ставший самым популярным машинным переводчиком в мире, работал на статистической архитектуре, унаследованной от классических подходов IBM конца восьмидесятых — девяностых годов. Архитектура эта была сложной, многослойной, опиралась на десятки разных модулей и сотни эвристик, накопленных за годы инженерной работы. Заменить её на одну нейронную сеть, какой бы привлекательной ни выглядела идея, была авантюрой огромного масштаба.

Тем не менее, в 2015 году Google начал внутренний проект по полной перестройке Google Translate на нейронные рельсы. Возглавил его Майк Шустер вместе с командой, в которую входил Quoc Le, а в качестве научного советника — Илья. Архитектура называлась GNMT — Google Neural Machine Translation. Она использовала глубокий стек LSTM-сетей кодировщика и декодировщика, плюс механизм внимания Богданау. Обучали её на наборах данных размером в миллиарды пар фраз, на сотнях видеокарт, в течение недель.

В сентябре 2016 года Google объявил о переходе. Сначала на одну языковую пару, потом, в течение следующих месяцев, на десятки других. Результаты были поразительны. Качество перевода с китайского на английский, с японского на английский, с языков с богатой морфологией скакнуло в среднем на тридцать-сорок процентов по стандартной метрике BLEU. На некоторых парах ошибки в переводе уменьшились вдвое. Для пользователя это означало очень простую вещь: Google Translate перестал быть бессвязным набором подстановок и начал выдавать тексты, которые читались как тексты, а не как машинная труха.

Microsoft, Facebook, Baidu бросились повторять. К 2017 году весь индустриальный машинный перевод в мире перешёл на нейронные архитектуры. Целая отрасль инженеров, работавших с правилами и статистическими таблицами, должна была переучиваться. Многие переучились. Некоторые ушли в другие области.

Это была первая большая, общественно заметная победа нейронных сетей применительно к человеческому языку. Не на лабораторной задаче, а на массовом продукте, которым ежедневно пользовались сотни миллионов людей. Гипотеза Ильи 2010 года о том, что нейронные сети должны масштабироваться с данными, теперь подтвердилась ещё раз, на новом материале.

Невидимая стена

И в то же время в архитектуре seq2seq плюс attention начала просматриваться невидимая стена.

Сама идея LSTM-кодировщика и LSTM-декодировщика, при всей её гибкости, была в одном отношении неудобной. Рекуррентные сети по своей природе обрабатывают последовательности по очереди: чтобы получить состояние сети после десятого слова, нужно сначала обработать все девять предыдущих, шаг за шагом. Это плохо параллелизуется. На видеокарте, способной делать триллион операций в секунду, при обработке предложения процессор почти всё время простаивает, ожидая, когда закончится предыдущий шаг.

Это было ограничение принципиальное, не инженерное. Можно было купить больше видеокарт, можно было оптимизировать ядра CUDA, но саму последовательную природу LSTM нельзя было обойти. Это означало, что увеличить размер модели в десять или сто раз технически возможно, а на практике почти бессмысленно: обучение будет идти годами.

В нескольких командах в индустрии начали независимо думать, можно ли вообще обойтись без рекуррентности. Можно ли построить кодировщик-декодировщик, в котором каждое слово взаимодействует с каждым словом параллельно, без цепочки последовательных шагов? Идея витала в воздухе. В Facebook AI Research предложили заменить LSTM на свёрточные сети. В Google Brain несколько человек начали думать, нельзя ли применить механизм внимания не как добавку к LSTM, а как замену LSTM.

Среди этих людей был Якоб Ушкорайт, исследователь Google Brain, начавший карьеру в немецком офисе Google Research. Якоб был сыном известного лингвиста Ганса Ушкорайта, и язык интересовал его с детства. К началу 2017 года Якоб предложил коллегам поразмыслить над идеей радикальной: давайте полностью выбросим рекуррентность; пусть наша архитектура состоит из одного только внимания, повторённого несколько раз; вот посмотрите, какие у меня есть прикидки на доске.

Большинству коллег идея показалась интересной, но рискованной. Один из коллег, Ашиш Васвани, недавно перешедший в Google Brain после докторской в Университете Южной Калифорнии, отнёсся к ней серьёзнее остальных. Вместе с коллегами — Ильёй Полосухиным и Ники Пармар, — к которым присоединились ещё пятеро, Васвани с Ушкорайтом весной 2017 года начал делать прототип.

Они ещё не знали, что строят то, что через семь лет будет работать в каждом смартфоне планеты.

Параллельная история

Пока в Google делали машинный перевод и закладывали основания для следующего архитектурного прорыва, у Ильи в Маунтин-Вью продолжалась другая, наполовину уже не научная жизнь. Он стал в Google Brain заметной фигурой, его приглашали на закрытые внутренние встречи, его кабинет на втором этаже корпуса был украшен подаренными постерами с пушистыми котами и шуточными плакатами от стажёров. Он не любил публичности, но соглашался изредка давать интервью, потому что Хинтон ему советовал: тебя должны знать, иначе тебя обойдут.

Илья начал думать о вещах, которые в Google не были приоритетом. О роботах. О физических системах. О том, что будет, когда нейронные сети станут ещё больше; о том, как с такими системами обращаться, чтобы они не вышли из-под контроля; о том, что произойдёт, если их научить не только переводить, но и думать.