Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Судьбоносный эксперимент и начало плодотворной дружбы

Дэвид Румельхарт вел в Калифорнийском университете Сан-Диего курс математической психологии, который был, мягко говоря, необычным. Никаких формальных лекций. Никакого обязательного учебника. Он даже не требовал от студентов знания истории математической психологии. Вместо этого просил приносить на занятия данные. И тут начиналось волшебство. Румельхарт использовал свой опыт, интеллект и арсенал методов, чтобы показать студентам, как их данные можно описать математически, что часто открывало новые перспективы и направления исследований. Джей, тогда еще молодой преподаватель кафедры психологии, посещал курс Румельхарта. Так зародилась их глубокая дружба, которая позволила добиться реального прогресса в моделировании контекстных эффектов, подобных описанным выше.

В ходе общения оба пришли к убеждению, что практичнее всего начать с моделирования восприятия букв в словах (а не слов в предложениях). Их заинтриговал известный эксперимент с парадоксальными результатами, который мог стать отправной точкой их исследований.

Эксперимент, разработанный исследователем когнитивных процессов Джеральдом Райхером, измерял способность участников распознавать целевые буквы, которые показывались на долю секунды. Он использовал три типа контекста (рисунок 5.3): целевые буквы предъявлялись либо внутри слов (например, K в WORK), либо изолированно без соседних букв (например, просто K), либо внутри псевдослов (например, K в ORWK). Затем целевую букву и любые соседние буквы маскировали (как показано на рисунке 5.3), заменяя их символом #. После этого участникам в случайном порядке показывали две буквы: целевую и альтернативную. Требовалось определить целевую букву.

Рисунок 5.3. Райхер показывал целевые буквы на очень короткое время и измерял способность участников распознать их в трех контекстах: когда буква была частью слова, когда стояла отдельно и когда входила в псевдослово

Важная деталь: когда целевая буква входила в состав слова, альтернативная буква тоже образовывала настоящее слово с остальными буквами. Например, если целевой буквой была K в слове WORK, альтернативой служила D, которая вместе с остальными буквами образует слово WORD. Или если целевой была буква B в начале слова BLOT, альтернативой могли быть P, S или C, поскольку они образуют настоящие слова с буквами L, O, T. А вот D или F не подходили в качестве альтернативы, так как DLOT и FLOT – не слова.

Райхер принял эти меры предосторожности, чтобы участники не могли просто угадать букву по другим фрагментам слова. Например, если целевая буква D предъявлялась вместе с альтернативой G, то участник, увидевший первые три буквы W, O и R, скорее выберет D, чем G, поскольку WORD – настоящее слово, а WORG – нет.

Итак, что же показал эксперимент? В каком случае участники точнее всего определяли целевую букву? Когда она была частью слова, стояла отдельно или входила в псевдослово?

На первый взгляд кажется, что точнее всего буква должна распознаваться в изоляции. Ведь никакие посторонние элементы не мешают ее восприятию и запоминанию. Но результаты оказались иными. Участники точнее определяли букву, когда она была частью слова. Как мы уже выяснили, это нельзя объяснить угадыванием, поскольку и целевая буква, и альтернатива образовывали с другими буквами осмысленные слова. Похоже, участники каким-то образом лучше распознавали букву в составе слова, чем изолированно или в составе псевдослова.

Как такое возможно?

Дэйв и Джей решили это выяснить. Они увидели в эксперименте прекрасную возможность создать нейронную сеть для изучения влияния контекста на распознавание букв – задача проще, чем чтение предложений, о котором раньше размышлял Румельхарт. Вместе они решили построить сетевую модель, способную прояснить механизм, дающий слову преимущество при распознавании букв. Им это удалось – так появилась интерактивная активационная модель восприятия букв.

После смерти Румельхарта в 2011 г. Джей вспоминал о том времени, когда они вместе работали над моделью:

В тот период у меня был академический отпуск на три месяца, к которому примыкало лето, и мы провели добрых полгода, работая вместе над моделью – правда, с частыми перерывами на долгие кофе-брейки и походы на теннисный корт. Первоначальный замысел модели принадлежал Дэвиду (его истоки можно проследить в его ранней статье «Интерактивная модель чтения»), и именно он настаивал, чтобы мы продолжали попытки, когда казалось, что модель не объясняет один из ключевых феноменов, описанных в литературе. Дэвид всегда направлял нас к максимальной простоте и призывал отложить второстепенные вопросы, чтобы сосредоточиться на сути проблемы. Не усложняй и концентрируйся на главном – вот чему меня научил Дэвид Румельхарт в области когнитивных моделей.

В то удивительное время, когда они увлеченно работали над общей целью, Джей говорил: «Дэвид был тем старшим братом, о котором я всегда мечтал».

Почему словесный контекст дает преимущество?

Модель интерактивной активации состоит из трех уровней (см. рисунок 5.4). На верхнем уровне – уровне слов – находятся элементы, представляющие целые слова; средний уровень представляет буквы; а уровень признаков – линии, из которых состоят буквы.

Связи внутри каждого уровня являются тормозными – на рисунке 5.4 они изображены линиями с точками на концах, – а связи между согласованными элементами разных уровней – возбуждающими, они показаны стрелками.

Рисунок 5.4. Слева – три уровня модели интерактивной активации. Справа – увеличенный фрагмент модели. Как обычно, стрелки обозначают возбуждающие связи, а точки на концах линий – тормозные. Связи внутри каждого уровня – тормозные, а между элементами разных уровней – возбуждающие

Уровень слов в сети содержит 1179 четырехбуквенных слов и, соответственно, столько же элементов. Каждый словесный элемент двунаправленно связан со всеми остальными словесными элементами, но эти связи – тормозные (обозначены линиями с точками). Это значит, что активация одного словесного элемента подавляет активацию всех остальных.

На следующем уровне – уровне букв – находятся элементы для каждой возможной буквы в каждой из четырех позиций слова. Например, для первой буквы слова предусмотрено 26 элементов, для второй – тоже 26 и т. д. Каждый буквенный элемент имеет тормозные связи с другими буквенными элементами в той же позиции.

Уровень признаков содержит элементы, представляющие различные линейные компоненты печатных букв в каждой из четырех позиций. Например, есть элементы для горизонтальных, вертикальных и диагональных линий. На этом уровне тормозных связей нет.

Буквенные элементы направляют возбуждающие связи к тем словесным элементам, которые содержат соответствующую букву в данной позиции. Например, буквенный элемент, представляющий F в первой позиции, будет иметь возбуждающие связи с элементами слов FALL, FAKE, FOWL, FLAT и некоторых других. При этом у него не будет связей со словами вроде TAKE, которые не начинаются с F. Важно, что эти связи двунаправленные (как в сети «"Ракеты" и