Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Сеть научилась создавать распределенные представления, которые отражают таксономическую иерархию с рисунка 7.4. Более того, в процессе обучения она осваивает эту иерархию по принципу «от общего к частному»: сначала учится отличать растения от животных, затем – типы растений (деревья от цветов) и типы животных (птиц от рыб) и только потом – конкретных представителей каждой категории. Почему обучение идет именно в такой последовательности? Потому что у всех животных есть множество свойств, которых нет ни у одного растения, и наоборот. Когда сеть настраивает силу связей, чтобы правильно активировать свойства одного животного, эти же настройки помогают ей правильно активировать свойства других животных. То же самое происходит со свойствами растений. В результате сеть быстро учится присваивать всем животным одно распределенное представление, а всем растениям – другое. Затем процесс повторяется: сеть учится различать птиц и рыб, деревья и цветы, а потом – отдельных представителей каждой группы.

Удивительное свойство таких категорий в том, что для их существования не нужны строгие определения. Птицу не определяют как «нечто имеющее крылья». Птица – это целый класс существ, обладающих многими общими свойствами, хотя и не всеми. Благодаря этому категории оказываются размытыми: одни представители более типичны, другие менее. Малиновка, у которой много общего с канарейками и воробьями, воспринимается как более типичная птица, чем страус, который меньше похож на остальных представителей категории. И действительно, психологические эксперименты показывают: люди гораздо быстрее признают птицей малиновку, чем страуса.

Интерлюдия. «Чувствую, что тут, похоже, все неправильно»

Бертран Рассел был математиком-формалистом, убежденным, что мышление состоит в последовательном применении правил логики к набору аксиом, принятых за отправную точку. Философ Людвиг Витгенштейн считал, что у понятий нет фиксированного определения – их смысл меняется в зависимости от контекста. 28 мая 1913 г. Рассел писал своей возлюбленной о встрече с Витгенштейном:

Мы оба были не в духе из-за жары. Я показал ему ключевой фрагмент своей работы. Он заявил, что все неверно, что я не понимаю сложностей – он уже проверял мой подход и знает, что тот не работает. Я не понял его возражений – он говорил крайне невнятно, – но нутром чувствую: он прав, он увидел что-то, что ускользнуло от меня. Если бы я тоже это увидел, то не расстроился бы, но сейчас это гложет меня и отравляет радость творчества – я могу работать только с тем, что понимаю, и все же чувствую, что тут, похоже, все неправильно, и Витгенштейн сочтет меня бесчестным негодяем за то, что я продолжаю работу. Что ж – молодое поколение стучится в дверь, надо по возможности уступить ему место, иначе стану обузой. Но в тот момент я был весьма раздосадован.

Три года спустя, подтверждая свою бескомпромиссную преданность истине, Рассел писал, что критика со стороны Витгенштейна стала

…событием первостепенной важности в моей жизни и повлияла на все, что я делал впоследствии. Я понял, что он прав, и понял, что больше никогда не смогу заниматься фундаментальными вопросами философии. Мой порыв разбился, как волна о волнорез.

Приведенные высказывания – подлинные выдержки из писем Рассела. Следующая сцена – воображаемый диалог между Расселом и Витгенштейном много лет спустя.

Людвиг Витгенштейн. Бертран, я изучил подход, который вы с Уайтхедом применяете в «Началах математики»(Principia Mathematica), и должен сказать: вы заблуждаетесь.

Бертран Рассел (посасывая трубку). А я читал ваши труды о природе понятий и ничего не понял. Вы, кажется, утверждаете, что у понятий нет устойчивого значения?

Витгенштейн. Именно так. Значение определяется контекстом. Даже у понятия числа нет фиксированного смысла.

Рассел (качает головой). Число – это вполне конкретная вещь с конкретным значением.

Витгенштейн. Хорошо, и как вы определяете число?

Рассел. Я предложил теоретико-множественное определение: число 0 – это пустое множество (множество без элементов), число 1 – множество, содержащее только пустое множество {}, и т. д. Число 2 – это множество, содержащее множества 0 и 1, то есть {0, 1}. Итак, 2 = {0, 1}. А число 3 – множество, содержащее множества 0, 1 и 2, то есть {0, 1, 2}. Итак, 3 = {0, 1, 2}. Каждое число представляет собой конкретное количество множеств.

Витгенштейн (закатывает глаза). Нет, нет и еще раз нет! «Газиллион» – это число, которым обычно обозначают просто очень большое количество чего-либо, а не конкретную величину. А что считать большим количеством – дело субъективное, у каждого свое представление. «Газиллионы фунтов» для разных людей означают совершенно разные суммы.

Рассел (после паузы). Понимаю. Пожалуй, я мог бы уточнить определение: «число» относится к количеству, пусть даже неопределенному.

Витгенштейн. А комплексные числа? Они тоже количества?

Рассел. Э-э… не в том же смысле, нет.

Витгенштейн. Все становится еще запутаннее оттого, что понятие числа иногда относится к вещам, никак не связанным с математикой. Песня может быть номером. Кто-то может «выкинуть номер» – то есть сделать что-то неожиданное. Понятие числа, как и большинство понятий, не имеет фиксированного значения вне контекста.

Можно ли понять психические расстройства через повреждения нейросети?

До сих пор мы использовали нейронную сеть, чтобы изучить, как мы усваиваем знания об окружающем мире. Оказывается, та же самая сеть в поврежденном состоянии помогает понять, как при психических расстройствах происходит утрата этих знаний. Далее мы покажем, как изучение последствий повреждений нашей модели семантического научения проливает свет на удивительную картину нарушений у пациентов с семантической деменцией, о которой шла речь в начале главы.

Напомним: семантическая деменция – редкое неврологическое заболевание, при котором пациенты постепенно утрачивают базовые понятийные знания, усвоенные в раннем возрасте и используемые всю жизнь. Больные сохраняют в памяти общие свойства объектов, но теряют их специфические, уникальные признаки. Например, они помнят, что у верблюда четыре ноги, но забывают про горб. Более того, они часто приписывают конкретному объекту типичные свойства его категории, даже когда это неверно, – скажем, могут предположить, что у лебедя четыре ноги (рисунок 7.1), поскольку у большинства животных действительно четыре ноги.

Обратите внимание: эта картина подтверждает, что наше знание о таком понятии, как лебедь, не подчиняется принципу «все или ничего». Мы можем сохранить одни аспекты знания о том, что такое лебедь, утратив другие. Этот результат также противоречит предсказаниям модели с рисунка 7.4, согласно которой люди должны были бы лучше помнить уникальные свойства объекта, поскольку они теснее с ним связаны, чем общие свойства вроде принадлежности к животным. Поможет ли сеть Румельхарта понять, почему конкретная информация о понятиях утрачивается легче, чем общая?

Чтобы смоделировать последствия нейродегенеративного