Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Но по мере развития процесса активация начнет расходиться по сети все шире. Например, активированный элемент «Женат» передаст сигнал элементу «Нед (имя)», поскольку они связаны. А так как Нед – член банды «Акулы», это приведет к активации элемента «Акулы». В результате элемент «Акулы» получит некоторую положительную активацию.

Стоп! Мы же начали с размышления о «Ракетах» (подали сигнал на элемент «Ракеты»). Нам совершенно не нужно, чтобы обратная связь заставила нас думать об «Акулах».

К счастью, есть элегантное решение этой проблемы.

Поможет взаимное торможение. Элемент «Ракеты» будет подавлять элемент «Акулы», а элемент «Акулы» – подавлять элемент «Ракеты». На первый взгляд это кажется бессмысленным. Если торможение взаимное, что это дает? Да, «Ракеты» подавляют «Акул», но ведь и «Акулы» подавляют «Ракет»? Верно, но обратите внимание: элемент «Ракеты» имеет более высокую активацию (он получил прямой входной сигнал, а элемент «Акулы» – нет). Как мы видели в главе 3, сильнее активированные элементы эффективнее подавляют конкурентов. В нашем случае мощная активация элемента «Ракеты» существенно снизит активацию элемента «Акулы», тогда как слабая активация «Акул» лишь незначительно уменьшит активацию «Ракет». В результате разница между их уровнями активации возрастет, и сеть придет в состояние, где элемент «Ракеты» остается активным, а элемент «Акулы» – нет. Это проявление эффекта усиления контраста, который мы обсуждали в главе 3.

В более общем смысле взаимное торможение внутри групп элементов одного типа приводит к выявлению «победителя» в каждой группе. Это крайне важно: человек не может быть одновременно женатым, холостым и разведенным; тот, кому 20 с чем-то, не может быть одновременно 30– и 40-летним. Поэтому мы делаем последний шаг в построении сети: вводим взаимное торможение между всеми элементами внутри каждой группы. Элементы в группе представляют один тип характеристики. Элементы возраста будут подавлять друг друга, как и элементы образования, но элементы возраста не будут влиять на элементы образования. Центральные элементы персон также будут подавлять друг друга.

Мы применили механизм взаимного торможения, чтобы сеть работала нужным образом. Примечательно, что в мозге животных и человека взаимное торможение (также называемое латеральным торможением) – повсеместное явление: соседние нейроны подавляют активность друг друга. Цель такого торможения – усилить различия между близкими сенсорными сигналами, сделать их более заметными. Вдохновившись этим свойством нейронов, Джей применил латеральное торможение для схожей цели. Это и другие свойства нейронов вдохновляли исследователей до и после Джея на создание моделей, основанных на принципах работы мозга, для объяснения различных аспектов мышления. Одним из пионеров нейронных сетей, который повлиял на этот аспект модели «"Ракеты" и "Акулы"», был нейротеоретик с математическим образованием Стивен Гроссберг.

Итак, сеть построена, и мы готовы испытать ее в действии – подать входные сигналы и посмотреть на результат. Но сначала стоит узнать ее название. Представляя эту сеть, Джей назвал ее сетью интерактивной активации и конкуренции (ИАК). Интерактивная активация означает взаимное влияние элементов на уровни активации друг друга, а конкуренция – взаимное торможение между элементами одного типа (и между центральными узловыми элементами). Как мы увидим, сеть ИАК обладает поразительной объяснительной силой в самых разных областях, в том числе в качестве системы памяти.

Сеть интерактивной активации и конкуренции (ИАК) в действии

Размышляя о желательных свойствах системы памяти, мы решили, что она должна извлекать характеристики человека по любому набору признаков, которые однозначно его идентифицируют. В нашей модели эти признаки – входные сигналы для элементов характеристик.

Обладает ли сеть ИАК таким свойством?

Рассмотрим пример: подаем входной сигнал на элемент «Кен (имя)». Из структуры сети очевидно, что активация сначала распространится на элемент «Кен (персона)», а затем – на элементы его характеристик. В этот момент сеть покажет повышенную активацию для элементов «Акулы», «20+», «Среднее образование», «Холост» и «Взломщик» по сравнению с другими элементами в каждой категории. Но распространение активации на этом не останавливается. Ведь достигнув элементов характеристик, активация создаст обратную связь. Например, активированный элемент «20+» через взаимные связи активирует все связанные с ним элементы персон (всех гангстеров 20 с небольшим лет). Другие элементы характеристик активируют другие элементы персон. В совокупности эти элементы персон активируют связанные с ними характеристики. Караул!

Чтобы процесс не вышел из-под контроля, нужны четкая организация, правила и инструменты. Во-первых, активация нарастает не мгновенно, а постепенно – неважно, вызвана она внешним сигналом или влиянием связанных элементов. Концептуально процесс непрерывен, но в компьютерных симуляциях он разбивается на дискретные шаги, каждый из которых соответствует малой доле секунды. Во-вторых, для корректной работы активация элемента должна оказывать лишь небольшое влияние на другие элементы за один шаг. Джей установил, что оптимальное значение – 10%. Например, если элемент А имеет активацию 0,8, то за один шаг его влияние на другие элементы составит всего 0,08 (10% от 0,8). В-третьих, полезно ограничить диапазон активации: верхний предел – 1, нижний – чуть меньше 0. Наконец, существует тенденция к затуханию: активация стремится вернуться к уровню покоя – чуть ниже нуля.

Теперь остается только произвести расчеты. Начав с уровня покоя каждого элемента, мы вычисляем активации в конце первого временного шага: определяем возбуждающие и тормозящие сигналы от каждого элемента ко всем остальным, учитываем затухание и следим, чтобы значения оставались в заданных пределах. Процесс повторяется многократно – обычно рассматривается 100 временных шагов. Проводить такие вычисления вручную было бы мучительно долго, но для компьютера это элементарная задача. Поэтому для этой и практически любой другой нейронной сети стандартная практика – написать компьютерную программу для выполнения расчетов.

Рисунок 4.6. Фрагменты состояния сети для Кена и Ника. Интенсивность цвета вокруг элемента отражает уровень его активации. Показаны только элементы со значимой активацией. Пунктирные линии обозначают основные потоки активации. На схеме (b) входной сигнал на элемент «Кен (имя)» активирует все элементы характеристик Кена. Элемент «Кен (персона)» имеет максимальную активацию, поскольку получает внешний входной сигнал. На схеме (b) показан элемент «Ник (персона)», у которого три общие с Кеном характеристики («Акулы», среднее образование, холост). Активация от этих элементов возвращается к элементу «Ник (персона)», умеренно его активируя. Некоторые характеристики Ника не показаны – они еще не достигли значимого уровня активации

Вернемся к Кену (рисунок 4.6). Подадим входной сигнал +1 на элемент «Кен (имя)» и дадим сети пройти 100 временных шагов – за это время уровни активации стабилизируются. Результат радует: активированы именно те элементы, которые и должны. Мы видим положительную активацию элементов «Кен (имя)», «Акулы», «20+», «Среднее образование», «Холост» и «Взломщик» (рисунок 4.6a), а элементы характеристик, не относящихся к Кену, имеют