Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Итак, как мы обсуждали в главе 3, обучение в нейронной сети происходит путем изменения силы связей (или весов). Как мы отмечали, хеббовское обучение усиливает связи между двумя элементами, если они активируются одновременно (нейроны, которые возбуждаются вместе, связываются вместе). Обучение с коррекцией ошибок меняет силу связей, стремясь минимизировать ошибку сети.

Как же изменить силу связей для минимизации ошибки? Конкретнее, как заставить сеть с рисунка 7.3 сильнее активировать правильный ответ «7» и слабее – неправильный «3»? Первым делом можно попробовать случайные значения силы связей (представьте себе ручки настройки, которые делают связи сильнее или слабее). Но тут есть проблема. В нашей демонстрационной сети сотни связей, и перебор всех возможных значений силы (во всех возможных комбинациях) займет очень много времени. В более поздних нейронных сетях, которые мы рассмотрим в главе 8, миллиарды и даже триллионы связей, а количество комбинаций настроек превысило бы число атомов во Вселенной.

Поэтому нам нужен принцип, который направит наши изменения. Обучение с коррекцией ошибок – именно такой принцип. Его основная идея – настраивать силу связей так, чтобы уменьшить ошибку сети, то есть разницу между фактическим выходом сети и заданным извне целевым выходом. Мы определяем целевой выход как 1 для правильного ответа и 0 для всех остальных вариантов. Например, на рисунке 7.3 правильному ответу соответствовал бы выход 1 для элемента «7» и 0 для всех остальных элементов. Уменьшение ошибки сети означает подбор таких сил связей, которые снижают активацию элемента «3» и повышают активацию элемента «7». Затем сеть получает следующий входной сигнал – допустим, рукописную четверку, – и, если сильнее всего активируется выходной элемент «9», это опять неверно. Мы снова корректируем силу связей, чтобы скорректированная сеть выдавала чуть больше активации для «4» и чуть меньше для «9». Появляется следующий входной сигнал – скажем, рукописный ноль, – и на этот раз сильнее всего активируется элемент «0». Но даже если активация элемента «0» меньше единицы, обучение с коррекцией ошибок настроит силу связей так, чтобы правильный элемент «0» получал еще больше активации, а все остальные элементы с активацией больше нуля – еще меньше. По мере многократного повторения этого процесса, называемого тренировкой, сеть останавливается на таких значениях силы связей, которые все точнее позволяют правильно классифицировать входные данные. Если тренировочные данные содержат представительную выборку всех 10 цифр, этот процесс позволит сети распознавать цифры, которые она не видела во время обучения.

Заметим, что ошибка сети – величина относительная: даже если правильный выход активирован сильнее остальных, некоторая погрешность все равно может присутствовать. Допустим, следующий паттерн – четверка, которая немного напоминает девятку. Предположим, выходная активация сети для «4» составляет 0.9, а для «9» – 0.3. Обучение с коррекцией ошибок все равно скорректирует веса связей так, чтобы активация элемента «4» немного приблизилась к целевому значению 1, а активация элемента «9» снизилась к целевому значению 0.

Наша задача в этой и следующей главах – описать важные последствия, к которым может привести обучение с коррекцией ошибок. Когда вы поймете эти последствия, мы надеемся, у вас появится желание разобраться, как именно реализуется принцип обучения с коррекцией ошибок. Мы вернемся к этому в главе 9 и опишем, как сеть может эффективно снижать свою суммарную ошибку. Пока же важно понять, что обучение с коррекцией ошибок способно создавать полезные распределенные представления, – это и есть второй из двух ключевых вопросов, которые мы намеревались изучить в этом разделе.

Чтобы продвинуться в этом направлении, представим, что сеть с рисунка 7.3 обучена на тысячах рукописных цифр. Чего нам следует ожидать от скрытого слоя элементов при подаче конкретного входного сигнала – скажем, цифры «2» – после завершения обучения? Обратите внимание: нас интересует именно представление в скрытом слое.

Заметьте, что связи между входным и скрытым слоями должны быть настроены так, чтобы при встрече с цифрой – в данном случае с двойкой – они выделяли те особенности входного сигнала, которые наиболее полезны для отличения двоек от других цифр. Поскольку различные двойки похожи друг на друга и отличаются от других цифр сходным образом, разные варианты двоек будут активировать в скрытом слое паттерны, которые окажутся более схожими между собой, чем сами двойки на входном уровне. А поскольку определенные признаки двоек могут быть особенно важны для их отличия от троек, скрытые паттерны двоек и троек будут перекрываться меньше, чем на входном уровне.

Таким образом, после достаточного обучения сеть, получив определенный входной паттерн, создаст распределенное представление, схожее с представлениями других объектов того же класса и отличное от представлений объектов других классов. Распределенные представления всех рукописных двоек (или троек, или четверок…) будут похожи друг на друга и отличаться от представлений других цифр. Вполне возможно, что, изучив паттерн активации в скрытом слое, мы смогли бы определить, какой именно входной сигнал его породил. Любопытно, что схожим образом можно анализировать паттерны активации в человеческом мозге (с помощью нейровизуализации) и определять, смотрит ли человек, например, на изображение лица или дома.

Для наших целей главный вывод таков: обучение с коррекцией ошибок позволяет эффективно создавать в нейронной сети распределенные представления, которые схожи для объектов одного класса и различны для объектов разных классов. Распределенные представления откроют путь к значительному прогрессу в понимании природы разума – как человеческого (об этом пойдет речь в оставшейся части главы), так и искусственного интеллекта (это мы рассмотрим в главе 8).

Возникновение структуры

Теперь мы проанализируем одну из самых впечатляющих демонстраций, связанных с распределенными представлениями и – в более широком смысле – с изучением человеческого разума. Она касается фундаментального вопроса: откуда мы знаем, какие свойства присущи каким понятиям? Мы без видимых усилий усваиваем, что у птиц есть крылья, рыбы умеют плавать, сосна – это дерево, а кит – животное. И мы знаем, что у птиц нет жабр, рыбы не могут дышать на суше, у сосны нет обычных листьев, а кит не рыба. Список подобных утверждений, с которыми мы согласимся даже в детстве, поистине впечатляет. Как мы приобретаем такие знания?

Некоторые из первых когнитивных моделей, исследовавших этот вопрос, предполагали, что понятия организованы в иерархию, восходящую от частных категорий к общим. На рисунке 7.4, например, понятие живое существо – это надкатегория, включающая подкатегории растение и животное, каждая из которых, в свою очередь, содержит другие подкатегории.

Вторая особенность модели на рисунке 7.4 заключается в том, что свойства, справедливые для всех членов вышестоящей категории, хранятся только на уровне этой категории, а не на нижних уровнях. Например, свойство может расти хранится на уровне живое существо, а не на уровнях растение или животное, хотя все растения и животные способны расти.