Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Капулетти:

Нет, добрый сир,

И сотвори перо и кроткий пух, тревожь меня

Здесь приготовь сие: твоей груди любое иное применение

Нося позади былые взоры мужа начни:

Но ради твоего града, коль скоро случаи искусства

Я держался, дабы прийти к тебе.

Если быстро пробежать глазами каждую строчку по отдельности, то, пожалуй, довольно трудно понять, настоящий это Бард или псевдо-Бард. Но присмотритесь внимательнее. Лорд Капулетти просто сыплет мешаниной квазишекспировской чепухи. Здесь упоминаются перо, твоя грудь, былые взоры мужа и твой град, но они никак не связаны друг с другом логически, чтобы рассказать историю, выразить точку зрения или сделать заявление. Этот стих читается гораздо более плавно, чем тот, что был сгенерирован n-граммными моделями, с которыми мы встречались выше, но он всё равно не может связать слова в связное повествование. С точки зрения осмысленного диалога (или, в данном случае, монолога) мы всё ещё находимся на пару ступеней ниже Владимира и Эстрагона.

Давайте сравним это с сегодняшней GPT-4, которая по промпту продолжить ответ Капулетти со слов «Нет, добрый сир» генерирует следующее:

Капулетти:

Нет, добрый сир,

Слова твои милы, но не нашли благосклонности здесь.

В делах моей семьи лишь я держу бразды,

Решенья — за мной, и мне нести сей груз.

Твоим советам, хоть они с добром, я не последую.

GPT-4 нарисовала вполне правдоподобный сценарий. Безымянный персонаж пытается навязать свою волю Капулетти, который непреклонно защищает свою независимость в личных вопросах. Во второй строке мы узнаем, что слова этого персонажа не нашли благосклонности, поэтому вполне логично, что в пятой строке Капулетти заявляет: я не последую его совету. Вымышленный монолог даже согласуется с тем, что мы знаем о настоящем характере лорда Капулетти, чья семейная гордость и упрямство сыграли ключевую роль в трагической гибели Ромео и Джульетты. Нам понадобился бы судебный лингвист вроде Дональда Фостера, чтобы обнаружить характерные признаки того, что этот отрывок — не подлинная шекспировская драма, но он определенно выстроен с правдоподобной структурой, которой напрочь лишен текст, сгенерированный RNN.

В чем же разница? Почему GPT-4 способна создавать длинные, плавные пассажи текста с почти человеческой внутренней согласованностью, а более ранние модели — нет? Как мы уже видели, масштаб языковой модели оказывается фактором первостепенной важности. По слухам, GPT-4 насчитывает 1,7 триллиона параметров и предварительно обучена на колоссальных массивах текстов из интернета, тогда как скромная RNN, описанная выше, имеет всего несколько тысяч параметров, а весь её жизненный языковой опыт ограничен 40 000 строк шекспировского стиха. Но есть и другое, абсолютно критическое различие. Буква T в аббревиатуре GPT означает «трансформер». Именно трансформер является секретом самых головокружительных недавних достижений в области исследований искусственного интеллекта и основным вычислительным механизмом в современных больших языковых моделях (LLM).

Пропустить примечания

*1 Ранее в своей карьере Фицрой был капитаном корабля Его Величества «Бигль» — того самого судна, на котором Чарльз Дарвин служил натуралистом и во время плавания на котором он сформулировал свою теорию естественного отбора.

*2 В части 1 мы обсуждали созданную Google систему под названием «Нейронный машинный перевод» (Neural Machine Translation), которая относилась к этому классу.

*3 Первоначально разработано Хохрайтером и Шмидхубером (1997).

*4 Например, то, как (в английском языке) вы переходите от утверждения «I ate chocolate» (Я съел шоколад) к вопросу «What did you eat?» (Что ты съел?), заменяя слово «chocolate» на «what» и перемещая его в начало предложения (а не спрашивая, например, «Did you eat what?», что было бы грамматически неправильно).

*5 См. Sutskever, Vinyals, and Le, 2014.

*6 Другие примеры см. здесь: https://cs.stanford.edu/people/karpathy/char-rnn/shakespear.txt.

13. Роботы под прикрытием.

Трансформер был изобретен в 2017 году. Впервые она была описана в препринте — научной работе, опубликованной в интернете без предварительного рецензирования, — под несколько парадоксальным названием «Внимание — это всё, что вам нужно»[*1]. Поначалу статья не произвела особого фурора. Будучи поданной на ежегодный научный «слет» — конференцию Neural Information Processing Systems (NeurIPS), проходившую в том году в Лонг-Бич, штат Калифорния, она даже не удостоилась устного доклада (честь, предназначенная исключительно для работ с наивысшим рейтингом). Однако сегодня, всего шесть лет спустя, эта статья была процитирована более 120 000 раз, что делает её одной из самых влиятельных за всю историю — в любой научной области. Для сравнения: самая цитируемая статья Альберта Эйнштейна на данный момент насчитывает всего 23 000 цитирований.

Так что же делает трансформер? Вопреки названию, он не имеет ничего общего с обобщенными правилами трансформации Ноама Хомского (или с Оптимусом Праймом — персонажем мультфильмов и коллекционных игрушек 1980-х годов). Чтобы понять, как устроен трансформер, нужно начать с концепции внимания. Представьте, что у вас есть последовательность данных, собранных с прибрежных метеостанций Роберта Фицроя и описывающих последовательные измерения скорости и направления ветра, влажности и давления в различных точках побережья, охватывающих Ла-Манш, Северное море и атлантическое побережье Великобритании. Допустим, вы хотите предсказать завтрашнюю погоду в Ливерпуле. Модель seq2seq (стандартный прогностический инструмент примерно до 2017 года) настраивала бы набор рекуррентных весов, сопоставляющих внутреннее состояние активации сети в любой момент времени t с его следующим состоянием в момент времени t + 1. Настроенные путем обработки огромных массивов метеорологических данных, полученные значения этих весов можно уточнять до тех пор, пока они не позволят прогнозам погоды чрезвычайно сложным образом зависеть от закономерностей в недавних наблюдениях. Это метеорологический эквивалент входного запроса — структуры данных, продолжение которой мы хотим предсказать. Таким образом, модель может усвоить, что сильные ветры на побережье Корнуолла имеют тенденцию перемещаться по Ирландскому морю и обрушиваться на Мерсисайд. (На практике Метеорологическая служба Великобритании не использует RNN, поскольку погода довольно хорошо подчиняется моделям гидродинамики, однако нейронные сети успешно применяются для наукастинга — сверхкраткосрочного прогнозирования.)[*2]

Однако, когда дело доходит до моделирования последовательностей данных, возникает проблема. При прогнозировании будущего далеко не вся информация о прошлом одинаково полезна. Непредсказуемая погода Великобритании большую часть года формируется под влиянием превратностей Гольфстрима, несущего свои воды с запада, поэтому нам, возможно, захочется придать больший вес наблюдениям в Атлантике, нежели в Северном море — по крайней мере, при составлении прогноза для Ливерпуля. А случайные сведения о том, ложатся ли коровы на землю или горит ли небо красным на закате, вряд ли сильно помогут, что бы там ни говорила двоюродная бабушка Матильда.