Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

каждый нейрон участвует в представлении множества лиц. Каждое лицо активирует свой набор нейронов – подобно паттернам для разных напитков на рисунке 7.2. Иными словами, паттерны разрядов при восприятии лиц соответствуют распределенным, а не локальным представлениям. Более того, отдельные нейроны, по всей видимости, не кодируют легко определяемые черты лица (например, подбородок или глаза). Эти результаты многократно воспроизводились, и практически нет данных о том, что нейроны специализируются на конкретных объектах, четко определенных признаках или членах определенных категорий – как следовало бы ожидать, если бы мозг использовал локальные представления.

Природа понимания

Утратили ли свою ценность наши ранние модели, которые использовали локальные, а не распределенные представления?

Вовсе нет. Да, наши первые нейронные сети не отражали в точности все аспекты работы разума. Но задача любой нейронной сети, созданной для объяснения разума, вовсе не в том, чтобы воспроизвести все без исключения мыслительные процессы. Такая сеть была бы в буквальном смысле столь же сложной, как и сам разум, который она пытается постичь, и потому не помогла бы нам в его понимании. Чтобы быть полезной, нейронная сеть должна упрощать работу разума таким образом, чтобы привести нас к новым открытиям.

В рассказе «О строгой науке»(Del rigor en la ciencia) писатель Хорхе Луис Борхес описал королевство, картографы которого были одержимы идеей создания карт, отображающих мельчайшие подробности изучаемой местности. Над некоторыми картографами смеялись за то, что их карты содержали недостаточно деталей. Поэтому многие стремились к абсолютной реалистичности. Естественно, их карты становились все больше и больше, что в конечном счете лишило всю затею смысла. Борхес описывает эту ситуацию так:

Искусство Картографии достигло у них в Империи такого совершенства, что Карта одной-единственной Провинции занимала целый Город, а карта Империи – целую Провинцию. Со временем эти Несоразмерные Карты нашли неудовлетворительными, и Коллегия Картографов создала Карту Империи, которая была форматом в Империю и совпадала с ней до единой точки. Потомки, не столь преданные Изучению Картографии, сочли эту Пространную Карту бесполезной[7].

И конечно же, она была бесполезна. Назначение карты – служить путеводителем по реальности, а не копировать ее. Назначение наших локальных нейронных сетей – служить проводником в понимании разума, что они и делали. Мы обнаружили, что разум может возникать из взаимодействия простых вычислительных элементов. Мы увидели, что двусторонние связи между элементами создают системы памяти, способные к обобщению, контекстно зависимому извлечению информации и подверженные характерным для человека сбоям (как в модели «"Ракеты" и "Акулы"»). Мы поняли, что нейронные сети, учитывающие влияние контекста, отражают то, как люди воспринимают и осмысляют окружающий мир. И благодаря тем же локальным моделям мы осознали, что именно активация, а не ценность может продуктивно рассматриваться как базовая единица человеческой деятельности и механизма принятия решений. Все эти открытия сохранят свою значимость – пусть и в измененном виде – при переходе к сетям с распределенными представлениями.

Многие люди интуитивно представляют себе, что внутри нашего мозга существует некая сущность – душа или миниатюрная копия нас самих, – которая и обеспечивает наш интеллект. Однако, как мы убедились в главе 1, такое объяснение бесполезно: оно подменяет явление, которое мы пытаемся объяснить, чем-то столь же непонятным. Если наша цель – начать объяснять интеллект, бессмысленно постулировать существование некой необъяснимой основы интеллекта. Наши локальные сети позволили продвинуться вперед, избежав подобных допущений. Они вывели нас на новый уровень анализа, где мы увидели: интеллект разума может возникать из взаимодействия элементов, которые сами по себе интеллектом не обладают. Но этот прогресс выявил новую проблему. Хотя наши локальные сети не закладывали в себя явным образом тот самый интеллект, который призваны были объяснить, они все же незаметно протаскивали интеллект создателя модели – того, кто решал, нужен ли один элемент для Coca-Cola или несколько (скажем, Coca-Cola из автомата и Coca-Cola из банки). Мы, разработчики нейронных сетей, использовали собственный интеллект, чтобы определить, какие элементы включить в модель. Например, если нас интересовали общие свойства чемоданов в противопоставлении сумкам, мы могли просто создать один элемент для чемодана. Но если требовалось смоделировать различия между большими и маленькими чемоданами, понадобилось бы два элемента – хотя, как мы видели, в других ситуациях и этого может оказаться недостаточно. Но у мозга нет доступа к интеллекту создателя модели. Он должен сам формировать представления по мере познания мира. И как мы убедились, для этого он, похоже, использует распределенные представления.

Но даже когда мы поймем, как мозг на ходу создает распределенные представления, мы все равно не постигнем окончательную истину о разуме. Мы просто сделаем очередной шаг в нашем путешествии – шаг, который приведет нас глубже, но одновременно поставит вопросы, которых мы не могли предвидеть. Такова природа понимания. Мы разбираемся в нескольких вещах, возникают новые вопросы, мы бросаемся за ответами и находим некоторые из них, что порождает еще больше вопросов.

Чего мы ждем от распределенных представлений?

В наших локальных сетях мы, архитекторы сети, сами определяли, какие элементы чтó представляют. Теперь же мы хотим, чтобы сеть «наблюдала» за свойствами мира и строила представления на основе этих наблюдений. Иными словами, хотим, чтобы представления формировались в процессе обучения под воздействием опыта.

Кроме того, как мы уже отмечали, представления похожих объектов должны быть схожими между собой. Поскольку распределенные представления одновременно схватывают и суть, и уникальность объектов, те из них, что обладают общей сутью, неизбежно имеют отчасти сходные представления. Например, представление понятия «дуб» через пять элементов может выглядеть как 0.9, 0.8, 0.1, 0.2, 0.7. Если уровни активации варьируются от 0 до 1, это представление приблизительно соответствует паттерну В, В, Н, Н, В (где В – высокий, Н – низкий). Представление понятия «малиновка» может кардинально отличаться от представления дуба; для наглядности предположим, что оно выглядит как 0.1, 0.2, 0.9, 0.7, 0.1, что примерно соответствует паттерну Н, Н, В, В, Н. Теперь представление понятия «сосна» – которое ближе к дубу, чем к малиновке, – окажется более схожим с представлением дуба, чем с представлением малиновки. Например, может выглядеть как 0.7, 0.9, 0.1, 0.2, 1 (тоже паттерн В, В, Н, Н, В). Схожие распределенные представления создают схожие паттерны активности в популяции элементов (см. рисунок 7.2c).

Как мы увидим далее, распределенные представления сохраняют сходство между объектами, поскольку отражают усредненные характеристики, извлеченные из всех контекстов, в которых встречался объект. Например, распределенное представление малиновки может основываться на таких признаках птицы, как «оранжево-коричневая окраска», «способность летать», «наличие крыльев» и «питается червями». У другой птицы – скажем, канарейки, – которая обладает многими, но не всеми этими признаками (канарейка желтая, а не оранжево-коричневая), будет схожее, но