Токен за токеном - SeNS Boston

Статья 1986 года вернула к жизни всю коннекционистскую программу. Появилась возможность обучать сети с двумя, тремя, пятью слоями. Они снова стали интересны. Хинтон, в то время молодой профессор в Карнеги-Меллон, был одним из главных идеологов возвращения. Через несколько лет он переедет в Торонто и создаст там одну из самых сильных в мире групп по нейронным сетям, которой ещё двадцать лет предстоит работать в относительной тишине, прежде чем мир признает её правоту.

Параллельно с Хинтоном работали ещё двое. В Монреале молодой канадец Йошуа Бенгио, защитившийся в McGill, основал собственную группу, занимавшуюся главным образом применением нейронных сетей к обработке естественного языка. В Bell Labs (а позднее в Нью-Йоркском университете) француз Ян ЛеКун развивал направление, которое чуть позже назовут свёрточными сетями, и которое в следующем веке перевернёт компьютерное зрение.

Эту троицу в академических кулуарах называли «канадской мафией», хотя строго говоря канадцами по гражданству были только Хинтон и Бенгио. Но школа была действительно общая, разговоры шли постоянные, и сторонников коннекционизма в мире было настолько мало, что они все друг друга знали.

Бенгио и слова

Йошуа Бенжио, ICLR 2025

В 2003 году Бенгио с тремя своими аспирантами опубликовал в Journal of Machine Learning Research статью под названием «A Neural Probabilistic Language Model». Это была первая в истории по-настоящему рабочая нейросетевая модель естественного языка.

Идея, лежавшая в её основе, была изящна и нова. До Бенгио все языковые модели работали по принципу таблиц частот. Слово «кот» представлялось номером, скажем, 17 583 в словаре. Слово «собака» представлялось номером 8 412. С точки зрения модели, эти два слова были такими же разными, как «кот» и «отвёртка», просто два разных индекса. Никакой структуры между словами не существовало, потому что номера в словаре не несут смысла. Это была фундаментальная слабость n-граммных моделей: они не понимали, что «кот» и «собака» в каком-то смысле похожи и часто появляются в схожих контекстах. Они должны были выучить эту похожесть отдельно для каждого случая, и им не хватало данных.

Бенгио предложил вот что. Пусть каждое слово в словаре представляется не индексом, а маленьким вектором из, скажем, ста или двухсот вещественных чисел. Эти числа поначалу случайны и ничего не значат, но в процессе обучения сети они подбираются так, чтобы слова, появляющиеся в похожих контекстах, имели похожие векторы. После обучения у «кота» и «собаки» вектора оказываются геометрически близкими, у «кота» и «отвёртки» — далёкими. Это и есть знаменитые в дальнейшем векторные представления слов, или, в позднейшем словоупотреблении, эмбеддинги.

Модель Бенгио состояла из небольшой нейронной сети. На вход подавалось несколько предыдущих слов, представленных своими векторами. Сеть смешивала эти векторы и предсказывала, какое слово появится следующим. Веса сети, включая сами векторные представления слов, обучались методом обратного распространения ошибки на большом массиве текстов.

Это работало. Модель Бенгио заметно обходила по качеству лучшие на тот момент n-граммные модели. Эмбеддинги, выученные в процессе обучения, имели правдоподобную геометрию: синонимы оказывались рядом, антонимы — на правильном расстоянии. Идея была революционная.

И при этом, надо честно сказать, она не произвела сразу никакого впечатления на индустрию. Набор текстов, на котором обучалась модель Бенгио, был по нынешним меркам крошечный, около пятнадцати миллионов слов. Обучение шло на одном процессоре, и каждая попытка занимала недели. Качество улучшалось по сравнению с n-граммами, но не настолько, чтобы IBM, Microsoft или Google срочно переходили на нейронный подход. У статистических методов было ещё много пороха, видеокарты ещё не использовались для машинного обучения, и в целом нейросетевые языковые модели в 2003 году выглядели как лабораторная диковинка.

Бенгио после этой работы продолжал заниматься нейросетями и языком. Но широкая известность придёт к нему позднее. А пока статью прочли несколько сотен специалистов, она получила несколько десятков цитирований, и Бенгио вернулся в монреальскую лабораторию писать следующие.

Долгое ожидание

Если бы кто-нибудь, оглядывая компьютерную обработку естественного языка в первые годы двадцать первого века, попытался предсказать, какое направление приведёт к настоящему прорыву, он, скорее всего, не назвал бы нейронные сети. Гораздо более перспективными выглядели тогда:

Гигантские n-граммные модели, на которые Google в 2006 году выложил публично знаменитый набор данных Web 1T, содержавший статистику последовательностей длиной до пяти слов, собранную примерно с триллиона слов публичных веб-страниц. Это казалось вершиной возможного: больше данных уже неоткуда взять, статистика практически насыщена.

Современные системы машинного перевода, основанные на статистическом подходе. Google Translate, запущенный в 2006 году, в первой своей версии работал именно так и довольно сносно справлялся с переводом между крупными языками.

Логические системы, разрабатываемые DARPA в рамках программы CALO, из которой потом вырастет Apple Siri.

Нейросети же выглядели как старая идея, давно изученная, имеющая узкий круг применений. Хинтон в Торонто, Бенгио в Монреале, ЛеКун в Нью-Йорке продолжали работать над ними скорее из принципа, чем из расчёта на скорый прорыв. Их научные коллеги их ценили, но всерьёз воспринимали их направление как небольшую сектантскую ветвь, отколовшуюся от основного русла дисциплины.

Так продолжалось до 2012 года.

В сентябре 2012 года в одной из исследовательских комнат Торонтского университета двое аспирантов Хинтона, проведших полтора года за работой с двумя бытовыми видеокартами NVIDIA, обнаружили, что их многослойная свёрточная нейронная сеть распознаёт картинки из коллекции ImageNet с ошибкой в полтора раза меньше, чем лучшая на тот момент система, использовавшая ручной набор признаков и SVM-классификаторы. Полтора раза.

Долгая зима закончилась за один уик-энд.

Глава 3

Спальня, две видеокарты и одна гипотеза

Илья считал, что мы должны попробовать. Алекс заставил это работать. А я получил Нобелевскую премию.

Джеффри Хинтон, Нобелевская неделя 2024

Джеффри Хинтон, 2024

Если бы кто-нибудь летом 2012 года заглянул в небольшой канадский дом в северо-западном пригороде Торонто, поднялся на второй этаж и открыл дверь в дальнюю спальню, он увидел бы такую картину. На обычном письменном столе, среди разбросанных бумаг и пустых банок из-под энергетика, стоял системный блок. Корпус был открыт, потому что в маленьком корпусе две видеокарты не помещались, и они торчали наружу из материнской платы, прикрученные к самодельным креплениям. Видеокарты были обычные потребительские, такие же продавались в любом компьютерном магазине: две Nvidia GeForce GTX 580, по три гигабайта памяти каждая. Они тихо, на пределе тепловыделения, гудели вентиляторами.