Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

В действительности изображения Мозжухина в обеих сценах были идентичны – Кулешов просто попросил актера смотреть в камеру с нейтральным выражением лица. Зрители наделяли нейтральное лицо эмоциями в зависимости от контекста.

Рисунок 5.2. Одно и то же нейтральное лицо воспринималось как печальное при взгляде на мертвого ребенка и полное желания при взгляде на лежащую женщину

Спустя примерно столетие после открытия эффекта Кулешова нейробиологи с помощью функциональной магнитно-резонансной томографии (фМРТ) показали, что одно и то же выражение лица вызывает разную активацию нейронов в зависимости от того, на что якобы смотрит человек. Наше понимание и восприятие предмета кардинально зависят от его взаимодействий и связей с другими предметами.

Это удивительная идея. Мы привыкли считать, что наше понимание и восприятие вещей – объектов, людей – зависят только от них самих и мы видим их такими, какие они есть. Мысль о том, что мы понимаем вещи в зависимости от контекста, противоречит убеждению многих людей в том, что мы воспринимаем мир объективно. Но, как мы уже начали понимать из главы 4, разум работает не так, как нам кажется.

Взаимосвязи между словами при чтении

В 1970-е годы исследователи когнитивных процессов активно изучали механизмы чтения и понимания предложений. Тогда чтение обычно рассматривали как последовательный процесс: буква за буквой, слово за словом, с извлечением значения каждого слова по мере его появления. Но Дэвид Румельхарт подозревал, что распознавание слов и их значений происходит благодаря одновременному взаимодействию нескольких слов. Эти размышления привели к созданию интерактивной активационной модели восприятия слов, разработанной совместно с Джеем Макклелландом, которую мы сейчас рассмотрим.

На страницах этой книги мы еще не раз упомянем о Румельхарте и его вкладе в когнитивную психологию. На наш взгляд, он был одним из самых глубоких и оригинальных ученых в истории этой дисциплины. Его достижения обширны и фундаментальны. Свой путь в науке он начал в 1960-х годах с изучения математической психологии. Вскоре он занялся разработкой вычислительных моделей понимания языка в рамках символического подхода, популярного в то время. Символический подход предполагал, что человеческое познание основано на манипулировании символами по определенным правилам. Считалось, что эти правила отражают наше понимание мира. Но к середине 1970-х Румельхарт разочаровался в символических концепциях и начал искать альтернативы. В итоге он стал одним из создателей нейросетевого подхода к изучению разума и алгоритма обратного распространения ошибки (о котором пойдет речь в главе 9) – основы современного искусственного интеллекта.

Когда Румельхарт начал изучать влияние контекста на понимание текста, существующие психологические модели не могли объяснить подобные эффекты. Согласно влиятельной теории того времени, процесс чтения выглядел так: знаки на странице (соответствующие буквам) попадают в глаза и сначала обрабатываются детектором паттернов, распознающим буквы. Затем буквы преобразуются в звуковые фрагменты (лингвисты называют их фонемами). Наборы звуковых единиц сопоставляются со словами в памяти. На следующем, ключевом этапе эти слова поступают в некую магическую систему (в одной из ранних работ ее назвали Мерлином), которая каким-то образом применяет знания грамматики и значений слов для определения смысла предложения. В этой модели преобразование происходило последовательно – буква за буквой, слово за словом – до обращения к магической системе Мерлина, разгадывающей тайны смысла. Другие исследователи расширили поэтапную теорию, добавив уровни синтаксической структуры и семантической интерпретации. Они предполагали, что грамматическая структура предложения сначала определяется набором правил и только потом рассматривается семантика, то есть значение. Эти теории не предусматривали ни параллельной обработки, ни взаимодействия между уровнями. Это серьезно беспокоило Румельхарта. Раз за разом он убеждался, что результат обработки на предположительно ранних стадиях хотя бы частично зависит от обработки на других уровнях.

Чтобы понять аргументацию Румельхарта, рассмотрим предложение:

Женщина увидела полицейского с биноклем.

По правилам грамматики фраза с биноклем может относиться либо к ближайшему существительному полицейского, либо к глаголу увидела. То есть бинокль был либо у полицейского, либо у женщины. Существовало грамматическое правило, согласно которому такие фразы должны присоединяться к глаголу. Следовательно, бинокль был у женщины, и она использовала его, чтобы разглядеть полицейского. В данном случае это логично – пока все идет хорошо. Но рассмотрим другое предложение:

Женщина застрелила полицейского с биноклем.

Здесь грамматическое правило не работает – из бинокля не стреляют. Очевидно, что бинокль следует отнести к существительному полицейского. Простая замена глагола увидела на застрелила меняет грамматическую структуру всего предложения. Но дело не только в глаголах. Замена существительного дает тот же эффект. Вернемся к первому предложению (где бинокль у женщины) и заменим бинокль на револьвер:

Женщина увидела полицейского с револьвером.

Теперь логичнее отнести револьвер к полицейскому.

Этот пример бросает серьезный вызов подходу «сначала синтаксис», поскольку одних грамматических правил недостаточно для определения структуры предложения. Грамматический разбор зависит от смысла, семантики предложения. Это создает проблему: согласно господствовавшим тогда представлениям, грамматическая обработка должна происходить до семантической интерпретации.

Однако для Румельхарта чтение – не поэтапный, не последовательный процесс. Оно задействует несколько уровней одновременно. Например, нисходящая обработка, связанная со смыслом, работает параллельно и совместно с восходящей обработкой последовательности букв, слов и грамматических маркеров в тексте. Возможны также акустические сигналы – люди «слышат» фонемы при чтении. Все эти и другие потенциальные факторы совместно определяют восприятие и понимание предложения. Румельхарт осознавал: каждый уровень обработки создает контекст для остальных уровней. Без системы, способной использовать такие двунаправленные межуровневые связи, чтение было бы не просто сложным – оно было бы невозможным.

Стремясь полностью понять механизмы чтения, Румельхарт мечтал создать искусственную систему – компьютерную программу для обработки языка. Как продвинуться в разработке такой системы?

Румельхарт понимал: сразу в полном объеме воспроизводить сложную систему того, как мы выстраиваем ситуацию, описанную в предложении, было бы слишком смело. Поэтому он решил сначала найти более простую задачу.

Интерлюдия. ChatGPT учитывает связи между словами

Август 2023 г. Менло-Парк, Калифорния. Гаурав беседует с ChatGPT. Вопросы Гаурава и ответы ChatGPT приведены без изменений.

Гаурав. Ответь одним предложением. В предложении «Женщина увидела полицейского с биноклем» у кого, по-твоему, скорее всего бинокль – у женщины или у полицейского? Выбери один вариант.

ChatGPT. Предложение двусмысленное, но если нужно выбрать, то бинокль у женщины.

Гаурав. Ответь одним предложением. В предложении «Женщина застрелила полицейского с биноклем» у кого, по-твоему, скорее всего бинокль – у женщины или у полицейского? Выбери один вариант.

ChatGPT. Скорее всего, бинокль у полицейского. Такая интерпретация соответствует обычным представлениям о том, кто использует бинокль в правоохранительном контексте.

Гаурав обращается к своей собаке Сону.

Гаурав. Эти большие языковые модели