Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

прогнозировать только на основе локальной информации — ассоциаций между парами или тройками слов. N-граммы «пятидневный период ожидания» и «верхний полуостров» сами по себе вполне вероятны, но в одном предложении они встречаются крайне редко. Представьте, что вы смотрите на мир исключительно сквозь узкую щель (например, через картонную трубку от рулона туалетной бумаги) и пытаетесь угадать, что еще может находиться в поле зрения. Это похоже на проблему, с которой сталкивается n-граммная модель при прогнозировании предложений: ей приходится экстраполировать данные всего по нескольким словам, чтобы уловить более широкий смысл длинного отрывка текста.

У детей, осваивающих язык, такой проблемы не возникает. Вместо того чтобы пытаться склеить смысл из крошечных фрагментов предложения, люди могут позволить себе роскошь опираться на богатые ассоциативные связи, отражающие то, как все в мире взаимосвязано. Если бы я попросил вас описать скрипку, вы, вероятно, упомянули бы деревянный музыкальный инструмент с изящными изгибами и, возможно, связанные с ним предметы, такие как смычок из конского волоса, футляр или контрабас. Вы могли бы рассказать мне о выдающихся скрипичных мастерах или скрипачах — например, о великом мастере Страдивари или виртуозе Анне-Софи Муттер, либо вспомнить ту мегеру, которая мучила вас в первом классе музыкальной школы. Вы могли бы назвать знаменитые концертные площадки, такие как Сиднейский оперный театр или Королевский Альберт-холл, или известные скрипичные произведения, например, завораживающий Скрипичный концерт ми минор Мендельсона. В человеческом разуме слова отсылают к понятиям, которые представляют собой внутренние репрезентации объектов и событий, и по мере взросления мы усваиваем паттерны связей между ними. Понятие скрипки связано с понятиями других объектов (таких как виолончель), событий (концерт) или даже более абстрактных сущностей (музыка). Когда мы думаем о мире или обсуждаем его с друзьями, наши мысли обычно перетекают от одних семантически связанных понятий к другим. Это помогает нашей речи оставаться связной и уместной — так что, обсуждая классическую музыку, мы не начнем случайным образом перечислять сорта мороженого, как это мог бы сделать Вилли Вонка.

Психологи называют наше знание о связях между понятиями семантической памятью. Неповрежденная семантическая память жизненно важна для здорового функционирования мозга и особенно для порождения осмысленной речи. Мы знаем об этом потому, что в пожилом возрасте некоторые люди страдают от семантической деменции — нейродегенеративного расстройства, при котором утрачиваются огромные пласты семантической памяти, обычно после атрофии критически важных для речи областей мозга. Речь пациентов с семантической деменцией напоминает работу n-граммной модели: ее содержание часто бывает путаным или бессмысленным (это явление называют «словесной окрошкой»). Таким образом, семантическая память необходима для того, чтобы наша устная и письменная речь имела смысл. Но как нам построить модели NLP с семантической памятью, чтобы они тоже могли порождать осмысленную речь?

Чтобы понять это, полезно представить понятия в семантической памяти как точки на ментальной карте. Ориентируясь на знакомых улицах, вы держите в голове пространственную карту, которая подсказывает, как добраться от парка до почты. Точно так же на семантической карте каждое понятие занимает уникальное положение (например, координату x, y ), а родственные понятия располагаются по соседству. Так, на вашей семантической карте «скрипка», вероятно, находится близко к «виолончели», но на безопасном расстоянии от «зубной пасты». Семантическую карту можно использовать для понимания и порождения речи. Если «киви», «банан» и «яблоко» расположены в одной зоне, то новое понятие, оказавшееся неподалеку (например, «мангустин»), скорее всего, тоже окажется фруктом. Слегка злоупотребляя метафорой, мы можем даже представить порождение речи как своего рода навигацию. Если понятия в нашем уме организованы разумно, то, блуждая по карте, мысли будут изящно перетекать от одной семантически близкой темы к другой, помогая нам говорить по существу.

Чтобы создать языковую модель с чем-то похожим на семантическую память, нам нужно найти алгоритм, который преобразует слова в понятия, организованные на осмысленной семантической карте. Сложность в том, что сами по себе слова — в виде букв на странице или произнесенных вслух фонем — практически не несут информации о своем значении. В большинстве современных языков слова представляют собой чистые символы, то есть они не выглядят и не звучат как объекты или события, к которым они относятся. Исторически так было не всегда. Например, древняя письменность ацтеков, египтян и народа адинкра в Гане была пиктографической, то есть обозначающие птицу слова рисовались так, чтобы действительно походить на птицу. Даже современный китайский язык сохраняет следы своего пиктографического происхождения (одним из примеров является иероглиф «женщина» (nǚ), пишущийся как 女, который немного напоминает схематичную фигурку человека). Но в современных языках комбинации букв и фонем, из которых состоит слово, кажутся выбранными совершенно произвольно. Английское слово horse не похоже на лошадь, а слова horse и zebra совершенно не похожи друг на друга, несмотря на то что зебры — это, по сути, просто лошади в полосатой шкуре. И наоборот, слова horse и house отличаются всего одной буквой, хотя дом — это место для жизни, а на лошади большинство людей не живут (за исключением разве что ковбоев).

Таким образом, физическая форма слов мало полезна для построения семантической карты. Альтернативный взгляд заключается в том, что для понимания связей между понятиями нам необходим чувственный опыт — зрительные образы и звуки физического мира, которые подсказывают нам, что с чем связано. В оркестре скрипачи и виолончелисты сидят рядом; в вашей вазе для фруктов на кухне могут лежать киви, бананы и, возможно, даже мангустины. Кажется вполне вероятным, что то, что мы видим, слышим или ощущаем по запаху, критически важно для понимания взаимосвязи понятий, а следовательно, и для порождения понятной речи. Если бы это было так, это стало бы крайне плохой новостью для исследователей в области NLP, ведь это означало бы, что языковая модель, обучаемая исключительно на больших текстовых корпусах, никогда не сможет постичь смысл так, как это делают люди, которые, очевидно, способны видеть и слышать.

Однако, как ни странно, это, похоже, не так. Как выяснилось, одни лишь паттерны распределения слов содержат бóльшую часть информации, необходимой для организации понятий в работающую семантическую карту. Это прорывное открытие было сделано, когда нейросети начали использовать в качестве языковых моделей. К концу 1990-х годов стали доступны крупные корпуса, состоящие из миллионов слов, что породило вопрос: можно ли обучить глубокие сети, запущенные на ставших к тому времени мощными компьютерах, предсказывать следующее слово (например, «почтальон принес _____»)? Знаковая статья[*1], опубликованная в 2003 году корифеем машинного обучения Йошуа Бенжио, задала вектор движения, показав, как обучать глубокие сети извлекать семантическую информацию исключительно из паттернов