Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

На рисунке 7.6 входные элементы перечислены в левом столбце, а справа от них – восемь ячеек, которые соответствуют элементам скрытого слоя сети. Высота столбика в каждой из восьми ячеек показывает степень активации соответствующего элемента скрытого слоя в ответ на активацию входного элемента. Чем выше столбик, тем ближе активация к единице. Таким образом, каждая строка представляет распределенное представление животного или растения. Если хотите поэкспериментировать, просто вглядитесь в паттерны активации – вдруг что-нибудь бросится в глаза.

Очевидно, что представления сосны и дуба очень похожи друг на друга. Точно так же роза и маргаритка имеют схожие представления, как и малиновка с канарейкой, и солнечный окунь с лососем. Заметны и другие закономерности: растения (деревья и цветы) больше похожи друг на друга, чем на животных (птиц и рыб). И хотя различия между животными несколько больше, они все же более схожи между собой, чем с растениями. Эти паттерны видны невооруженным глазом и могут быть точно измерены для определения различных степеней сходства.

Чтобы лучше понять распределенные представления и то, как они кодируют информацию, интересно рассмотреть паттерны лосося и солнечного окуня. В данных для обучения нейронной сети эти объекты имеют почти идентичный набор признаков (оба умеют плавать, у обоих есть плавники и т. д.), за исключением того, что лосось красный, а солнечный окунь желтый. В тренировочных данных сети эти два объекта различаются только этими двумя явными признаками. Но в их выученных распределенных представлениях дело обстоит иначе. Чтобы это продемонстрировать, в последней строке рисунка 7.6 мы показываем разницу активаций между лососем и солнечным окунем. Примечательно, что различие между этими двумя объектами распределено по всем восьми элементам скрытого слоя. Различия обычно невелики, но все же не равны нулю. В целом представление каждого свойства объекта размазано по всем скрытым элементам.

Рисунок 7.6. Распределенные представления, выученные методом коррекции ошибок в сети с рисунка 7.5. Примечательно, что объекты с общими свойствами обычно имеют схожие представления

Важное общее наблюдение о распределенных представлениях: если два объекта обладают многими общими свойствами, их распределенные представления будут схожими. Например, распределенное представление лосося гораздо больше похоже на представление солнечного окуня, чем на представление сосны, с которой у него куда меньше общих свойств. Распределенные представления схожи, когда они демонстрируют схожие паттерны активации.

Важно отметить: никто не указывал сети, что объекты со схожими свойствами должны иметь схожие распределенные представления. Эта закономерность возникла как следствие обучения с коррекцией ошибок. Она не потребовала внешнего интеллекта – просто появилась в результате применения метода коррекции ошибок при обучении сети сопоставлять каждый входной объект с соответствующим набором заданных извне признаков. Структура в представлениях объектов сформировалась в процессе обучения, направленного на уменьшение ошибки при отображении входов на выходы.

Эта спонтанно возникшая структура влечет поистине глубокие последствия. Прежде всего она позволяет модели переносить знания о знакомых объектах на новые. В сети, аналогичной изображенной на рисунке 7.5, Румельхарт ввел новое понятие – воробей, добавив новый входной элемент с малыми случайными весами связей к скрытым элементам. Затем он обучил сеть отношениям «вход-выход»: воробей – птица, воробей – животное и воробей – живое существо. Во время обучения этим трем свойствам он разрешил изменяться только силам связей от входного элемента воробей к скрытым элементам (оставив связи от скрытых элементов к выходным неизменными). Это вынудило сеть уменьшать ошибку исключительно за счет изменения весов между входом и скрытыми элементами. Обучив сеть тому, что воробей – это птица / животное / живое существо, Румельхарт проверил, какие еще свойства сеть сможет вывести самостоятельно. Оказалось, что сеть смогла заключить, что воробей умеет летать и имеет крылья. То есть, если активировать элемент «воробей» после обучения сети тому, что воробей – живое существо / животное / птица, сеть активирует свойства умеет летать и имеет крылья. Таким образом, обучение с коррекцией ошибок способно неявно приводить к способности обобщать, не опираясь на явное знание о том, что птицы умеют летать и имеют крылья.

Как сети это удалось? При обучении тому, что воробей является птицей, сеть использовала уже существующие связи от скрытого слоя к выходному – те самые, которые активируют выходной элемент является птицей при подаче на вход канарейки или малиновки. Чтобы задействовать эти связи, она сформировала такие связи от входного элемента «воробей» к скрытому слою, которые сделали представление воробья похожим на представления малиновки и канарейки. Как только распределенное представление воробья стало схожим с представлениями других птиц, остальные его свойства – такие как умеет летать и имеет крылья – проявились благодаря уже существующим связям между скрытым и выходным слоями.

Замечательное свойство распределенных представлений состоит в том, что похожие объекты получают похожие представления. Благодаря этому в репрезентационном пространстве, которое формируют скрытые элементы сети, естественным образом возникают категории. Положение объекта на плоскости задается двумя координатами, а положение понятия в репрезентационном пространстве – таким количеством координат, сколько элементов участвует в его представлении. Человеку трудно вообразить больше двух измерений, но мы можем спроецировать многомерное пространство на плоскость, стараясь максимально сохранить относительные расстояния между представлениями разных понятий. Применив этот метод к нашей сети, мы получаем визуализацию репрезентационного пространства, где схожие понятия располагаются рядом, а несвязанные – далеко друг от друга. Мы применили этот подход к графикам активации с рисунка 7.6 и получили рисунок 7.7.

Рисунок 7.7. В репрезентационном пространстве объекты со схожими свойствами образуют скопления, формируя категории

Как видно, каждое понятие, например канарейка, представлено точкой в пространстве. Категория, к которой оно принадлежит – в данном случае птицы, – занимает более обширную область, включающую других представителей того же семейства (например, малиновку). Более далекие объекты, такие как рыба, расположены дальше, но все равно находятся в пределах общего категориального пространства – в данном случае животных. Важно отметить: никто не учил сеть группировать объекты именно таким образом. Да, сеть знала, что канарейка – это птица, а птица – животное, но она вовсе не обязана была использовать именно эти свойства как основу для организации. С тем же успехом она могла бы взять за основу цвет канарейки (желтый) и разделить все объекты на желтые, красные (как малиновка) и зеленые (как деревья). Но она этого не сделала. Так что же определяет эти группировки? Они отражают скопления объектов, обладающих несколькими изменяющимися параллельно свойствами. Роза и малиновка – обе красные, но больше у них почти нет ничего общего. Зато птицы обладают целым набором общих свойств: у них есть