Токен за токеном - SeNS Boston

поначалу не было. Первые несколько недель сотрудники собирались в квартире Брокмана в Сан-Франциско, в Мишн-Дистрикте, на третьем этаже над прачечной. У Брокмана была сравнительно большая гостиная, в которой стоял длинный стол; за ним размещалось десять-двенадцать человек. На стенах висели белые маркерные доски. На полу валялись провода.

Альтман, по его собственному признанию, на одной из первых таких встреч обратился к собравшимся примерно так. Так. У нас есть деньги. У нас есть лучшие люди в области. У нас есть миссия. Что делаем? Внятного ответа никто не дал.

Никто из присутствующих не знал, как строить искусственный общий интеллект, потому что никто в мире этого не знал. Никто не знал даже, какие задачи правильно решать в первую очередь, чтобы постепенно подбираться к этой цели. На белой доске рисовали возможные направления: робототехника, обучение с подкреплением, шахматные движки, видеоигры, обработка естественного языка, мультиагентные системы. Спорили, что важнее. Через час расходились, ничего не решив. Через неделю собирались снова, рисовали то же самое, опять расходились.

В первые двенадцать месяцев OpenAI занималась всем подряд. Карпатий с командой строил систему, которая училась играть в видеоигры по экрану. Шульман развивал алгоритмы обучения с подкреплением, более стабильные, чем существовавшие на тот момент. Заремба занимался робототехникой: учил роботизированную руку поднимать предметы. Илья присматривал за всем сразу и пробовал привлекать молодых исследователей со всего мира. Брокман занимался инфраструктурой.

В мае 2016 года в офис OpenAI заглянул Дарио Амодей, тогда исследователь Google, проездом из Маунтин-Вью в Нью-Йорк. Альтман с Брокманом провели его по комнатам, показали проекты, рассказали о планах. Амодей, по его собственным позднейшим словам, ушёл из офиса в смятении. На прямой вопрос: Что вы делаете? — у организации не было прямого ответа. Это была лаборатория, наполненная исключительно талантливыми людьми, у которой явно было много денег и явно было много хороших намерений, и при этом не было никакой внятной стратегии. Амодей подумал и решил, что, пожалуй, такая лаборатория ему как раз и интересна. Через несколько месяцев он сам присоединится к OpenAI.

Тёмная комната, в которой ещё не зажгли свет

Если бы кто-нибудь в 2016 году попытался описать первый год OpenAI в одном слове, это слово было бы — хаос. Не плохой хаос. Не разрушительный. Творческий, добросовестный, насыщенный. Но всё-таки хаос. Через несколько лет Брокман в публичных интервью будет вспоминать это время с улыбкой и говорить, что в OpenAI первого года «ничего не работало» — в том смысле, что не было ни одного прорывного результата, на который можно было бы указать пальцем.

И всё же три вещи в этот хаос уже были заложены, и от них, в конечном счёте, всё дальше зависело.

Первая: в OpenAI собрались исследователи, верившие в масштаб, то есть в гипотезу Ильи десятилетней давности. Не все из них её разделяли в одинаково чистой форме, но никто из них не был ей принципиально враждебен.

Вторая: в OpenAI собрались люди, которые думали о судьбе своей дисциплины не как о технической задаче, а как о цивилизационной. Что бы они ни делали потом — играли в Dota 2, переводили тексты, обучали робота — за всем этим стоял общий вопрос: как сделать, чтобы ИИ, когда он станет мощным, не стал бедствием. Этот вопрос будет в дальнейшем направлять огромное количество их решений, иногда хороших, иногда странных, иногда катастрофически неверных.

Третья: у OpenAI был неограниченный (как тогда казалось) запас денег от частных миллиардеров. Это значило, что им не нужно было гнаться за прибылью, не нужно было выпускать продукты на рынок, не нужно было оправдывать каждый эксперимент с точки зрения отдачи. Они могли пробовать что угодно. Эта роскошь будет фундаментально важна для того, что произойдёт через два года: для появления первой большой статьи Алека Радфорда, в которой механизм внимания, придуманный другими, и масштаб, в который верил Илья, наконец сойдутся.

Но раньше этого должно было случиться ещё одно. В лесу нужно было пройти через ещё одну поляну, чтобы выйти к водопаду. Эта поляна находилась в Гугле, в начале 2017 года, и на неё собирались восемь человек, чтобы написать статью с названием, взятым из песни «Битлз».

Глава 6

Восемь авторов и песня The Beatles

Мы предлагаем новую простую сетевую архитектуру, Transformer, основанную исключительно на механизмах внимания.

Из аннотации статьи Васвани и др., 2017

На сервере препринтов arXiv 12 июня 2017 года, в одиннадцать часов девятнадцать минут вечера по нью-йоркскому времени, появилась статья на десять страниц. Восемь авторов, никто из них не был профессором, ни у кого даже не было привычного академического титула на главной странице. Только адреса электронной почты: у семерых — google.com, у восьмого — личный email. Заголовок статьи был коротким, чуть ироничным, как будто его авторы решили не делать вид, что они написали учебник. Attention Is All You Need.

Через семь лет эта статья станет одной из десяти самых цитируемых научных публикаций двадцать первого века. Её прочитают, в той или иной форме, миллионы инженеров и исследователей по всему миру. На предложенной в ней архитектуре будут построены все большие языковые модели, все основные системы машинного перевода, все системы преобразования текста в изображение, в музыку, в видео; на ней будут построены роботы, программирующие вместо человека, и врачи, ставящие диагнозы, и юристы, читающие договоры. Все восемь её авторов в ближайшие шесть лет уйдут из Google, и каждый из них запустит свой стартап. Кое-кто из них к моменту, когда вы читаете эту главу, уже стал миллиардером.

А в момент публикации никто из них точно не подозревал, что они только что сделали.

Якоб и его отец

Якоб Узкорайт

Идея, в конечном счёте превратившаяся в трансформер, родилась в голове у одного человека. У этого человека была фамилия с лингвистическим оттенком: Ушкорайт.

Якоб Ушкорайт родился в Германии в 1981 году. Его отец, Ганс Ушкорайт, был и до сих пор является одним из самых известных в Европе специалистов по компьютерной лингвистике; в восьмидесятые-девяностые годы он много занимался формальными моделями грамматики, разрабатывал системы машинного перевода ранних поколений, основал лабораторию компьютерной лингвистики в немецком городе Саарбрюккен. Якоб вырос среди разговоров о синтаксисе, морфологии, парсерах и формальных языках, и к моменту окончания университета прекрасно понимал и любил эту область, но решил пойти в неё со стороны. Защитившись в Берлине по математике