Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

имеют разные веса. В первой версии нашей сети все связи имели вес 1, что позволяло элементам «Голод» и «Жажда» одинаково сильно влиять на элемент «Холодильник». В новой версии это не так. Проанализируем ее работу: исходя из сказанного выше, мы ожидаем, что связи с большим весом окажут более сильное влияние на принимающий элемент, чем связи с меньшим весом. Следовательно, элемент «Жажда» должен влиять сильнее, чем элемент «Голод».

В нашей модели это реализуется следующим образом: влияние одного элемента на другой равно произведению активации передающего элемента и веса связи с принимающим элементом. Это соответствует нашим ожиданиям: передающие элементы с высокой активацией и большими весами связей должны вызывать более существенные изменения активации, чем элементы с низкой активацией и малыми весами.

Рассмотрим случай, когда элемент «Жажда» имеет активацию 0,6 (довольно сильная жажда), а элемент «Голод» неактивен. Влияние элемента «Жажда» на элемент «Идти к холодильнику» составит: активация «Жажды» (0,6) × вес связи (0,9) = 0,54. Поскольку это единственное воздействие на выходной элемент, его активация будет равна 0,54. Этого достаточно для превышения порога 0,5, и действие – поход к холодильнику – произойдет.

Теперь рассмотрим противоположный случай: элемент «Голод» с активацией 0,6 (довольно сильный голод), а элемент «Жажда» не получает входного сигнала. Влияние на элемент «Идти к холодильнику» составит 0,6 × 0,3 = 0,18, что значительно ниже порогового значения 0,5, поэтому действие не произойдет.

Итак, высокий вес связи между «Жаждой» и «Идти к холодильнику» и низкий вес связи с «Голодом» приводят к тому, что выходной элемент активируется при сильной жажде, но не при сильном голоде.

А что, если активация элемента «Жажда» составит 0,2 (слабая жажда), а элемента «Голод» – 1 (максимальный голод)? Сможете вычислить, превысит ли активация элемента «Идти к холодильнику» пороговое значение? Попробуйте сами, прежде чем смотреть ответ.

В этом случае элемент «Идти к холодильнику» получит воздействие 0,2 × 0,9 = 0,18 от «Жажды» и 1 × 0,3 = 0,3 от «Голода». Суммарная активация составит 0,18 + 0,3 = 0,48, что немного не дотягивает до порога. Если бы наша сеть моделировала человека с такими связями, мы бы предсказали: в данной ситуации он не отправится к холодильнику, хотя малейшее усиление голода или жажды может сдвинуть его с места.

Сила торможения

Мечехвосты – удивительные создания. Свое название они получили благодаря привлекательному зеленовато-серому панцирю в форме подковы, под которым скрываются голова, брюшко и колючий хвост, напоминающий хвост ската. Самки примерно на треть крупнее самцов: они достигают примерно 60 см в длину и весят около 4,5 кг. Эти существа практически не изменились за 450 млн лет – они появились задолго до динозавров.

Их козырь – зрение. У мечехвостов целых девять глаз плюс дополнительные светочувствительные рецепторы вдоль всего хвоста. Два глаза – фасеточные, то есть состоят из множества отдельных элементов, называемых омматидиями. У каждого мечехвоста их около 1000. Фасеточные глаза помогают им избегать хищников и находить подходящих партнеров для спаривания.

Каждый омматидий – это специализированный нейрон с одним выходящим нервным волокном. Эти волокна крупные и доступны для исследования: к ним можно прикрепить электрод и регистрировать потенциалы действия. Сами омматидии достаточно велики, чтобы направить луч света точно на один из них. Как показано на рисунке 3.10, когда свет попадает на омматидий А, в его нервном волокне (назовем его волокном А) возникает интенсивная импульсация. Поскольку омматидий В не освещен, волокно В продолжает работать на базовом уровне или ниже. И наоборот: при освещении омматидия В интенсивная импульсация наблюдается в волокне В, а активность волокна А остается на базовом уровне или ниже.

Рисунок 3.10. Действие взаимного торможения в фасеточных глазах мечехвостов

Пока все было предсказуемо. Но дальше нас ждет сюрприз. Что произойдет, если свет попадет одновременно на омматидий А и омматидий В? Логично предположить, что оба нервных волокна – А и В – будут импульсировать с той же частотой, что и при изолированной стимуляции. Но происходит иное: активность обоих волокон хотя и остается выше базового уровня, но существенно снижается по сравнению с их активностью при раздельной стимуляции.

Почему?

Ответ кроется в явлении латерального торможения – способности возбужденного нейрона подавлять активность соседей. Это торможение осуществляется через латеральное сплетение, связывающее нервные волокна в фасеточном глазу мечехвоста. По этим каналам возбужденные нейроны посылают тормозные сигналы своим соседям.

Почему же латеральное торможение снижает активность волокон А и В? Для анализа ситуации абстрагируемся от деталей и представим эти волокна как элементы сети, как мы делали раньше. Можно смоделировать нейронную сеть из двух элементов – А и В, каждый из которых соответствует нервному волокну. Эта сеть отличается от сети с холодильником в двух аспектах. Во-первых, здесь связи тормозные, а не возбуждающие. Во-вторых, связи двунаправленные: элемент А тормозит элемент В, а элемент В одновременно тормозит элемент А.

Тормозные двунаправленные связи почти не влияют на ситуацию, когда входной сигнал получает только один элемент. Это соответствует освещению либо омматидия А, либо омматидия В. Рассмотрим случай, когда входной сигнал получает элемент А, а элемент В – нет. Активация элемента А устойчиво растет, а тормозная связь от А к В снижает активацию элемента В ниже базового уровня. В результате элемент В оказывает на А еще меньшее тормозное влияние, чем в покое. Итог: активация элемента А растет интенсивно, а активация элемента В подавляется ниже базового уровня. Аналогичная динамика наблюдается при активации элемента В без участия элемента А. Эти результаты соответствуют картине импульсации у мечехвоста при освещении только одного омматидия.

Особенно интересна динамика активации при одинаковом входном сигнале на элементы А и В. Элемент А получает сигнал, усиливающий его активацию, но этот рост сдерживается тормозным влиянием элемента В. Тот, в свою очередь, тормозя элемент А, сам испытывает торможение со стороны элемента А. В результате оба элемента активируются слабее, чем при изолированной стимуляции, – именно это и наблюдалось в эксперименте.

А что, если элемент А получит чуть больший входной сигнал (допустим, 0,55), чем элемент В (допустим, 0,50)? Попробуем проследить, что произойдет.

Оба элемента снова будут тормозить друг друга. Но хотим напомнить, что влияние передающего элемента на принимающий равно произведению активации передающего элемента и веса связи между ними. Поскольку элемент А получил больший входной сигнал, его активация выше, и он окажет более сильное тормозное воздействие на элемент В, чем В на А. В результате разница между активациями двух элементов увеличится. Этот эффект называется усилением контраста. Усиление контраста через латеральное торможение работает по всему мозгу – это универсальное свойство нейронной активности. Аналогичные механизмы широко применяются и в искусственном интеллекте. Мы увидим латеральное торможение