Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Рисунок 1. Стилизованная визуализация пространства эмбеддингов для слов «Король» [1,5], «Королева» [4,5], «Мужчина» [1,2] и «Женщина» [4,2]. Обратите внимание, как они лежат на двух осях, которые здесь показаны параллельно осям x и y графика, представляющим уровни активности отдельных элементов или групп элементов в нейронной сети (или мозге). Слова, связанные с мужским полом, вызывают более низкую активность на оси «гендер», а слова, связанные с женским, — более высокую; «королевские» слова вызывают более высокую активность на оси «королевский статус», а слова простых людей — более низкую. Обратите внимание, что слово «Женщина» здесь представлено как Мужчина + (Королева − Король).

• Королева − Король = [4 5] − [1 5] = [3 0]

• Мужчина + (Королева − Король) = [1 2] + [3 0] = [4 2].

В совокупности эти результаты показывают, что нейронные сети усваивают нечто похожее на человеческую семантическую память. Несмотря на отсутствие у них явной структуры, они не формируют безнадежно запутанные репрезентации слов. Хотя их обучают всего лишь предсказывать соседние слова в предложении, их внутренняя топография смысла схожа с той, что существует в вашем и моем мозге. Оси их пространств эмбеддингов охватывают семантически значимые измерения, такие как гендер (мужской против женского), число (единственное против множественного) и язык (английский против испанского). Корпуса естественного языка — включая относительно неотфильтрованные тексты, собранные почти случайным образом из интернета, — раскрывают огромное количество прекрасно организованной информации о том, как функционируют части речи и как устроен наш понятийный мир. Первым исследователям эти наблюдения со всей очевидностью указывали на то, что нейросети, обученные исключительно предсказанию слов, когда-нибудь окажутся способны генерировать правдоподобный, осмысленный язык — что, как мы теперь знаем, и произошло на самом деле.

Пропустить примечания

*1 Bengio et al., 2003.

*2 Mikolov et al., 2013.

12. Прогноз слова.

Ночь на 25 октября 1859 года стала одной из самых смертоносных в истории британского мореплавания. Медленно двигавшийся шторм, пришедший со стороны Бискайского залива, принес с собой сокрушительные бури, которые обрушились на побережье Уэльса и ворвались в устье реки Мерси, терзая порт Ливерпуля со скоростью ветра более 100 миль в час. Паровой клипер «Ройал Чартер» стоял на якоре всего в нескольких милях от валлийского берега. Он находился на завершающем этапе своего двухмесячного плавания из Мельбурна, переполненный искателями золота, возвращавшимися из Австралии домой с добычей, зашитой в нательное белье. Оказавшись в самом эпицентре бури, корабль был жестоко выброшен на скалы острова Англси и развалился на части, унеся жизни 459 пассажиров и членов экипажа. В общей сложности в ту ночь в море погибло более 800 человек.

Современная концепция прогнозирования погоды родилась вслед за катастрофой «Ройал Чартер». В 1860-х годах Роберт Фицрой, адмирал Королевского флота и один из первых метеорологов, предложил стратегически разместить на британском побережье сеть метеостанций, каждая из которых телеграфировала бы свои наблюдения в центральное «Метеорологическое ведомство» в Лондоне, где эти данные объединялись бы для составления синоптических карт.[*1] Тогда, как и сейчас, Метеорологическая служба рассылала предупреждения в порты и рыбацкие деревни по всей стране, предупреждая суда о приближении опасной погоды. Сегодня синоптики сменили телеграф и анемометр на суперкомпьютеры и спутники, что позволяет им прогнозировать всё: от ураганов до аномальной жары. Но это не меняет того факта, что предсказывать трудно — особенно будущее, как гласит датская пословица. Даже с современными инструментами точность прогноза погоды резко падает с каждым последующим днем. Сегодня большинство прогнозов температуры на следующий день ошибаются в среднем примерно на полградуса Цельсия, но к пятому дню средняя абсолютная погрешность возрастает до 2,5 градусов. Если вы хотите предсказать погоду более чем на неделю вперед, обычно надежнее просто сослаться на климатическую норму. Большинство погодных явлений — от мягкого летнего солнца до бушующих тропических штормов — перемещаются и видоизменяются на синоптической карте в основном предсказуемым образом, поэтому прогнозы могут экстраполировать текущие погодные условия, чтобы точно предсказать погоду на минуты или часы вперед (это называется наукастингом). Однако погода каждого дня подвержена случайным колебаниям, которые невозможно смоделировать. Таким образом, по мере увеличения горизонта прогнозирования эти мелкие ошибки накапливаются, и метеосводки начинают бить мимо цели.

Прогнозы в отношении языка страдают от схожей проблемы. Угадать следующее слово в предложении не так уж сложно, что подтверждают подсказки интеллектуального ввода текста в мессенджере или почтовом клиенте. Но угадывание непосредственно следующего слова — это лингвистический эквивалент наукастинга. На самом же деле мы хотим, чтобы модели генерировали продолжения длиной в несколько слов, предложений или даже абзацев. Возьмем, к примеру, фразу: «Once upon a ____». Можно с уверенностью предположить, что следующим словом будет time, учитывая избитый зачин столь многих любимых сказок на ночь. Но что дальше? Как только вы выходите за рамки «Once upon a time, in a land where…» (Давным-давно, в одной стране, где...), угадать дальнейшее продолжение становится практически невозможно. Предсказать десятое или двенадцатое слово после подсказки — всё равно что пытаться спрогнозировать, пойдет ли дождь в Джакарте через неделю во вторник ровно в 18:30.

В начале 2000-х годов языковые модели на основе нейросетей стали доминировать в области обработки естественного языка. Эти модели обычно обучались предсказывать пропущенное слово в предложении на основе его соседей, или наоборот. Стандартные нейросети могут изучить, насколько вероятно каждое слово при наличии других слов в предложении (например, p(time | once,upon,a) — вероятность слова «time» при условии «once upon a» высока, особенно в детских сказках). Как мы уже знаем, они могут использовать структуру семантических эмбеддингов — то, что родственные слова вызывают схожие паттерны нейронной активности — для установления связей между словами в предложении. Однако у них нет механизма для кодирования долгосрочных связей между словами, разделенными несколькими предложениями. Люди, конечно, делают это постоянно. Если я расскажу вам о своей недавней поездке:

Я только что вернулся из Японии. Я навещал свою тетю, которая недавно переехала туда со своей собакой по кличке Гельмгольц. Они живут в очень глухом горном районе, там невероятно красиво. Это была отличная поездка, но, конечно, у меня возникли некоторые трудности в общении на _______.

Длина этой подсказки — сорок пять слов. Полагаю, вы без труда догадаетесь, каким должно быть сорок шестое слово, но для этого вам нужно обратить внимание на шестое (Японии), которое встретилось целых четыре предложения назад. Нейросеть, обученная предсказывать слово по соседним словам, не научится учитывать