Токен за токеном - SeNS Boston

конференции Хинтон зарегистрировал в Торонто фирму с одним сотрудником и без продуктов. Фирма называлась DNNResearch Inc. Её активами были: трое сотрудников (Хинтон, Илья, Алекс), исходный код AlexNet и идея, что эти трое будут продолжать работать вместе. Накануне конференции Хинтон через знакомых дал понять нескольким крупным технологическим компаниям, что DNNResearch будет выставлена на торги.

В торгах изъявили желание участвовать четыре компании: Google, Microsoft, Baidu и DeepMind. Последняя на тот момент была маленьким лондонским стартапом, годом ранее основанным Демисом Хассабисом, в широких кругах ещё неизвестным. Первым к Хинтону подъехал Кай Ю, тогдашний глава отдела мультимедиа в Baidu, прилетевший специально из Пекина.

Демис Хассабис, 2024

Аукцион Хинтон провёл не в зале с молотком, как полагается, а из своего гостиничного номера, номер семьсот третий. Из-за больной спины он не мог сидеть в кресле и сидел на полу. По его правилам, торги шли по электронной почте: каждый час участники присылали новые ставки, шаг должен был быть не меньше миллиона долларов. Хинтон распечатывал письма на гостиничном принтере и раскладывал их на ковре.

Цена росла. Первые торги начались с нескольких миллионов. К концу первого дня поднялись до двадцати. На второй день — до сорока. После того как ставка достигла сорока четырёх миллионов, Хинтон попросил паузу. Через несколько часов он связался с участниками и сообщил, что аукцион закрыт. Победителем объявлен Google. Технически Baidu предлагала столько же, но Хинтон выбрал Google, потому что хотел работать с Джеффом Дином, главой Google Brain.

Сорок четыре миллиона долларов за компанию, существовавшую месяц и не имеющую ни одного продукта. Сорок процентов от этой суммы — около восемнадцати миллионов долларов — досталось Хинтону. Илья и Алекс разделили остальное.

Сдвиг

После Лейк Таху мир изменился. Не сразу, в течение полутора-двух лет, но необратимо.

Видеокарты, ещё недавно бывшие нишевым товаром для геймеров, внезапно стали стратегическим ресурсом. Курс акций Nvidia за следующие два года вырос в три раза. Все крупные технологические компании запустили внутренние программы по найму специалистов в области глубокого обучения. Зарплаты выпускников, защитившихся по нейросетям, выросли с типичных академических ста тысяч долларов в год до полумиллиона, потом миллиона, потом нескольких миллионов с бонусами. На несколько лет состоялась настоящая золотая лихорадка: кто первый соберёт у себя самых сильных людей в новой области, тот выиграет рынок.

Хинтон с Ильёй и Алексом перебрались в Google. Хинтон стал делить время между Торонто и Маунтин-Вью; Илья пошёл в Google Brain, в группу к Джеффу Дину; Алекс продолжал работать с архитектурой нейронных сетей и в основном сидел тихо, как любил всегда. Параллельно DeepMind, проигравшая аукцион, в начале 2014 года была куплена тем же Google за пятьсот миллионов долларов: Хассабис в Лондоне быстро превращался в фигуру, без которой ландшафт ИИ уже невозможно было представить.

А Илья за следующие три года в Google Brain сделает с Ориолом Виньялсом и Квоком Ле работу, которая первая по-настоящему применит нейронные сети к языку. Идея, что нейронные сети должны расти с количеством данных, перестанет быть его частной гипотезой и станет общим местом. Под эту идею, постепенно, начнут перестраиваться целые корпоративные стратегии.

Но это уже история следующей главы.

Что касается Алексовой спальни в торонтском пригороде, она ещё несколько лет простояла, как стояла. Системный блок с торчащими видеокартами увезли на хранение, потом передали в Музей компьютерной истории в Маунтин-Вью. В 2025 году исходный код AlexNet будет официально опубликован на GitHub под лицензией BSD-2, и любой желающий сможет скачать его себе на компьютер и запустить, теперь уже на одной видеокарте, потому что современные карты в десятки раз мощнее тех двух GTX 580.

Что касается двух видеокарт, на которых обучалась исходная сеть, их дальнейшая судьба неизвестна. Возможно, они до сих пор лежат у Алекса в коробке в гараже. Стоит ли об этом сожалеть? Не знаю. Любая обыденная вещь, оказавшаяся в эпицентре исторического сдвига, обычно остаётся обыденной. Книги, которые читал Эйнштейн, ничем не отличаются от других книг своего времени. Лампа, при свете которой Шеннон считал свои псевдо-английские фразы, ничем не отличается от других ламп. Видеокарты GTX 580 ничем не отличаются от других видеокарт. Особенным был не металл, а то, что эти трое в спальне пригородного дома в 2012 году сделали с ним.

А ещё особенной была одна гипотеза: сделать сеть достаточно большой, и она научится сама.

Эту гипотезу теперь предстояло применить к самому сложному из материалов: к человеческому языку.

Глава 4

Машина учится переводить

Это была первая задача, на которой нейронные сети показали, что они умеют делать со словами что-то реальное.

Из позднейших интервью одного из участников

В марте 2013 года Илья Суцкевер вышел из самолёта в международном аэропорту Сан-Франциско и сел в такси до Маунтин-Вью. В кармане у него лежало предложение от Google на работу в группе Google Brain, в Корпоративном кампусе с зелёной травой и бесплатными ресторанами. Он переходил из тихой академической лаборатории Хинтона в одну из самых мощных вычислительных инфраструктур мира. Его персональный счёт в банке за прошедшие три месяца увеличился на сумму с шестью нолями, и это была только начальная часть, остальное он должен был получать ежегодными траншами, привязанными к работе. Ему было двадцать шесть лет.

Алекс Крижевский ехал в то же место, в другом такси, с похожим контрактом. Хинтон, тоже подписавший с Google соглашение, поделил рабочее время между Маунтин-Вью и Торонто. Все трое стали сотрудниками одной из самых быстро растущих научных групп Кремниевой долины. Аукцион в Лейк Таху сделал из аспирантов корпоративных исследователей.

Google Brain тогда существовал три года, был детищем Джеффа Дина и Эндрю Ына, и занимался применением больших нейронных сетей к задачам распознавания речи, компьютерного зрения и рекомендательных систем. На балансе у группы стояла внутренняя облачная инфраструктура Google, что означало доступ к десяткам тысяч процессорных ядер и сотням видеокарт одновременно. Тому, кто до этого работал с двумя GTX 580, такие ресурсы казались сюрреалистическими.

Илью, едва он переехал, начали приглашать в разные внутренние проекты. Он отказывался от большинства. Его интересовало только одно: применить нейронные сети к языку.

Tomáš и его векторы

Томаш Миколов, 2020

К моменту прихода Ильи в Google Brain в группе уже работал молодой чешский исследователь по имени Томаш Миколов. Он защитил докторскую в Брненском