Искусственный интеллект. Краткая история будущего - Тоби Уолш

Программист + (женщина – мужчина) = домохозяйка.

Или:

Архитектор + (женщина – мужчина) = парикмахерша.

Эти примеры иллюстрируют сексизм в текстах, на которых тренировался кодировщик [5]. Очевидно, что это было ненамеренно. Если бы мы работали усерднее, то сексизм и другие нежелательные предубеждения в векторном представлении слова были бы устранены.

Повторим, что первый этап – это токенизация, преобразование слов в последовательность токенов. Второй этап – это кодирование, которое преобразовывает последовательность токенов в последовательность векторов слов. На третьем этапе происходит настоящая магия. Ранее трансформер стремился уловить значение слов, сопоставляя их с векторами в многомерном пространстве. Однако связи между словами в тексте пока не учитывались. На третьем этапе трансформер начинает выявлять эти взаимосвязи.

Вернемся к нашему примеру:

Элис знала, что ее работа содержит ошибки,

но она не собиралась исправлять их.

В результате кодирования слова «она» и «их» представлены универсальными векторами, то есть это одни и те же векторы в любых предложениях, содержащих «она» и «их». На третьем этапе механизм внимания изменяет векторы так, чтобы вектор слова «она» был близок к слову «Элис», а вектор «их» был близок к «ошибкам». Таким образом определяется, к кому или чему относятся местоимения.

На этом этапе также устраняется неоднозначность омонимов (слова одинаковые по звучанию, но разные по значению) и многозначных слов. Это уличная лавка или мясная лавка? Это блюдо – еда или посуда?

Четвертый и завершающий этап – это декодирование, преобразующее векторы обратно в токены. Если декодер выполняет обратную функцию энкодера, то результатом будет лишь другое предложение на английском языке. Однако если декодер настроен на русский язык, то он сможет создать перевод английского предложения на русский.

BERT[71] – одна из широко используемых ИИ-систем, разработанных с использованием трансформеров – была предложена исследователями из компании Google в октябре 2018 года [6]. Год спустя Google объявили, что они начали использовать модели BERT в Соединенных Штатах для ответов на англоязычные запросы. На сегодняшний день поисковые запросы Google на более чем 70 различных языках обрабатываются моделью BERT. Многие другие разработанные модели, которые, как и BERT, используют трансформеры для преобразования векторов в слова, названы в честь героев «Улицы Сезам». Чат-бот от Baidu называется «Эрни» (ERNIE), а компания Allen AI создала энкодер «ЭЛМО» (ELMo). Был еще и «Гровер» (GROVER), детектор фейковых новостей на основе трансформера.

Названия в честь героев «Улицы Сезам», может, и милые, но еще милее то, что мы можем свести большую часть языка просто к нейронным сетям, которые преобразуют векторы чисел, представляющих слова. Кто бы мог подумать, что преобразование векторов чисел – это все, что нужно для понимания языка?

ТЕХНОЛОГИИ ОБЩЕГО НАЗНАЧЕНИЯ

Теперь, когда мы добрались до героев «Улицы Сезам», настало время рассказать о компании OpenAI и ее значении в истории искусственного интеллекта. Эта компания переняла и начала агрессивно запускать последние две идеи – трансформеры и такие системы, как BERT, что стало причиной огромного скачка в способностях ИИ-систем.

Компания OpenAI была зарегистрирована как некоммерческая организация в декабре 2015 года. Основателями стали CEO компании Tesla Илон Маск, который затем покинул компанию и основал компанию-конкурента, Сэм Альтман, действующий CEO компании OpenAI, Грег Брокман, действующий президент компании, и Илья Суцкевер, который был главным научным сотрудником, но впоследствии создал конкурирующий стартап – Safe Superintelligence Inc.

Миссия OpenAI очень амбициозная – улучшать и продвигать цифровой интеллект так, чтобы он приносил пользу всему человечеству, не ограничиваясь только лишь генерацией прибыли. Ранее Маск высказался о своих страхах касательно крупных технологических компаний, что они собираются завладеть всеми преимуществами передового искусственного интеллекта. OpenAI была его надеждой предотвратить воплощение его страхов.

Первая команда OpenAI имела звездный состав. Суцкевер был одним из самых сильных и технически подкованных в области искусственного интеллекта, а Альтман был его идеальным дополнением, поскольку на предыдущем месте работы он управлял Y Combinator, самым важным бизнес-инкубатором Кремниевой долины, где стал экспертом в масштабировании стартапов. Как мы позже узнаем, искусственный интеллект больше всего нуждался именно в масштабировании.

В момент зарождения компании Маск стал крупнейшим спонсором OpenAI, вложив от 50 миллионов до 100 миллионов долларов США от общего начального финансирования в 130 миллионов долларов. Рид Хоффман, Питер Тиль и некоторые другие инвесторы Кремниевой долины пообещали сделать свой вклад в OpenAI в размере миллиарда долларов, хотя до сих пор неясно, были ли эти инвестиции внесены.

Илл. 18. Сэм Альтман в 2019 году, харизматичный и противоречивый CEO компании OpenAI

Масштабирование вскоре «съело» все деньги. Стало очевидно, что миллиард долларов, конечно, огромная сумма для стартапа с сотней сотрудников, но все же этого было недостаточно для достижения целей OpenAI. В марте 2019 года компания приобрела двойной статус социально-коммерческой организации и получила от Microsoft инвестиции, на данный момент превышающие 13 миллиардов долларов США.

За первые годы работы у OpenAI возникали трудности с достижением результатов, которые бы соответствовали послужному списку ее звездной команды, а также отвечали их огромным амбициям. Изначально фокус был направлен на обучение с подкреплением, эту тему мы рассмотрим в следующей главе. Такой ход был очевидным, учитывая успех других в данной области за последние пару лет. На самом деле, первый прорыв OpenAI заключался в использовании обучения с подкреплением для победы в чемпионате по игре Dota 2, сложной и невероятно популярной многопользовательской видеоигры. Приз за победу в чемпионате достигал 40 миллионов долларов.

Несмотря на этот первоначальный успех, OpenAI находилась, так сказать, в тени DeepMind, компании на пять лет старше OpenAI, которая с 2010 года является пионером в использовании обучения с подкреплением. В следующей главе мы подробнее разберем DeepMind. OpenAI также инвестировала и в другие области, например в робототехнику, но, к сожалению, вложения не дали результатов и в 2021 потихоньку распустила свою команду разработки роботов.

В 2018 году все изменилось, и OpenAI отыскала золотую жилу. Ее команда переняла разработанную Google идею трансформеров c использованием систем по типу BERT и стала активно масштабировать их с помощью больших языковых моделей GPT – нейронных сетей, обученных на огромных текстовых массивах. Использование большого количества данных и вычислений позволило им разработать нейронную модель с выдающимися способностями. Агрессивное масштабирование было рисковым мероприятием. На сегодняшний день OpenAI уже потратила более 100 миллионов долларов США на тренировки языковых моделей. Но риск был оправдан, и сейчас стоимость OpenAI составляет около 100 миллиардов долларов.

Первая большая языковая модель из семейства GPT была запущена в июне