Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

заболевания, можно удалить или нарушить случайно выбранную часть связей в сети. Поразительно, но такая поврежденная нейронная сеть демонстрирует нарушения понятийного знания, которые напоминают симптомы пациентов с семантической деменцией. Как и больные, сеть скорее утратит уникальные знания (например, что канарейка умеет петь), но сохранит общие (что канарейка может двигаться). Она также склонна заменять нетипичные свойства объекта (горб у верблюда) на более типичные (отсутствие горба).

Почему так происходит? В нейронной сети знание о любом свойстве закодировано в связях между элементами. В сети Румельхарта, к примеру, знание о свойствах хранится в связях между скрытым и выходным слоями. Типичные свойства формируются при обучении на множестве объектов – потому они и типичные. Например, сеть усваивает свойство может двигаться, изучая канареек, малиновок, лососей и солнечных окуней. В результате типичные свойства объекта кодируются в связях сети прочнее, чем его уникальные особенности. Когда сети предъявляют объект – скажем, канарейку, – активация элемента, отвечающего за типичное свойство (может двигаться), обычно оказывается сильнее активации элемента, представляющего уникальное свойство (может петь).

Удаление связей ослабляет сигналы, идущие к выходным элементам через скрытые. Чем больше связей мы удаляем, тем слабее становятся эти сигналы – что согласуется с прогрессирующим характером нейродегенеративных заболеваний вроде семантической деменции. Способность сети активировать элементы, соответствующие и типичным, и уникальным свойствам, тоже постепенно снижается. Но – и это важно – активация элементов типичных свойств лучше сопротивляется повреждениям, поскольку до удаления связей они были закодированы прочнее. Поэтому поврежденная сеть скорее «помнит», что канарейка может двигаться, чем то, что она может петь.

Хорошая метафора: повреждение элементов и связей заставляет репрезентационное пространство сжиматься. Объекты, расположенные очень близко, сливаются и перестают различаться. Оставшиеся веса связей по-прежнему кодируют свойства, общие для этих объектов, поэтому сеть обращается со всеми близкими объектами как с одинаковыми – сохраняет типичные свойства, теряет уникальные и заменяет нетипичные на более распространенные.

Трагическая и горькая ирония: последнее десятилетие жизни Дэвид Румельхарт провел в тисках прогрессирующей семантической деменции. Человек, сделавший так много для понимания того, как люди усваивают понятия, стал жертвой болезни, опустошившей его собственные понятия. Она отняла у него то, что он любил больше всего на свете: возможность думать о мышлении.

Джей, его близкий друг, пытаясь осмыслить, почему именно Румельхарта поразила семантическая деменция, часто задавался вопросом: может, Дэвид думал так напряженно и так долго, что довел свои нейроны до гибели?

Мы прошли долгий путь! Но…

Как мы убедились в главе 1, самые ранние представления о работе разума предполагали наличие внутреннего управляющего – миниатюрной копии нас самих, гомункула, обитающего в мозге. Однако мы быстро поняли: гомункул не объясняет интеллект, а просто констатирует его существование. Другие теории представляли разум как программное обеспечение, работающее по набору правил. Как мы выяснили, эти правила-определения не способны объяснить деятельность разума. Более того, они опять-таки постулируют интеллект, а не объясняют его. В главах 4–6 мы попробовали представить разум как результат взаимодействия простых локальных вычислительных элементов. Мы добились существенного прогресса, но затем обнаружили, что локальные сети тайком протаскивают часть интеллекта создателя модели – ведь именно он решает, какие элементы включить в сеть, а какие нет и как их соединить между собой. Распределенные представления, формируемые через обучение с коррекцией ошибок, позволили решить эти проблемы. Благодаря им удалось уловить семейное сходство и свойства градуированной принадлежности естественных понятий, а также предложить механизм их возникновения. Мы даже получили новое понимание причин утраты знаний при нейродегенеративных заболеваниях.

В следующей главе мы увидим, как обучение с коррекцией ошибок и распределенные представления не только проливают свет на природу человеческого семантического знания, но и становятся основой современных больших языковых моделей.

Глава 8

Эмерджентная мыслящая машина

Центральная идея книги «Рождение разума» состоит в том, что человеческий разум возникает из взаимодействия нейронов. Мы моделировали эти взаимодействия с помощью нейронных сетей, где потенциалы действия нейронов представлены активацией элементов, а синаптическая эффективность – силой связей между ними. Чтобы смоделировать распространение активации в нейронных сетях, мы и другие исследователи часто используем компьютерные программы, имитирующие нейронные процессы. Их называют искусственными нейронными сетями (ИНС). Слово «искусственные» отличает их от мозга животных, который можно считать биологической нейронной сетью.

До сих пор мы использовали ИНС главным образом для понимания человеческих когнитивных процессов. В главе 7 мы обнаружили, что два свойства наших сетей – обучение с коррекцией ошибок и опора на различные паттерны активации, которые мы назвали распределенными представлениями, – оказались ключевыми для понимания того, как люди приобретают (и могут утрачивать) знания о мире. Поразительно, но, как мы увидим в этой главе, именно эти свойства легли в основу феноменального взлета больших языковых моделей (LLM), таких как ChatGPT. По состоянию на конец 2024 г. LLM повсеместно и эффективно используются отдельными людьми и корпорациями. Они демонстрируют способности, которые порой напоминают человеческое мышление, а порой и превосходят его. Эти способности заставляют задуматься о том, чтó составляет основу мышления, и о том, смогут ли машины развиваться дальше в направлении человекоподобного интеллекта. В этой главе мы исследуем эти вопросы и заглянем внутрь таких систем, чтобы понять механизмы, благодаря которым они столь успешны.

Наша история началась несколько десятилетий назад, когда сама идея мыслящей машины казалась многим абсурдной.

Как Тьюринг защищал мыслящие машины

Около 1950 г. пионер компьютерных наук Алан Тьюринг высказал предположение, что люди когда-нибудь создадут мыслящие машины. Однако он быстро обнаружил, что большинство людей не верят в это предсказание. «Почему? – размышлял Тьюринг. – И есть ли основания для такого скептицизма?» Чтобы разобраться в этом – и помочь разобраться остальным, – он тщательно собрал все возражения против самой идеи мыслящих машин.

А затем в классической работе «Вычислительные машины и разум»[9] систематически ответил на каждое из них.

Тьюринг начал с «теологического возражения», суть которого сводилась к следующему: «Мышление – функция бессмертной человеческой души. Бог наделил бессмертной душой каждого мужчину и каждую женщину, но не животных и не машины. Следовательно, ни животные, ни машины думать не могут». Тьюринг заявил, что «полностью» отвергает подобные рассуждения. Вероятно, он имел в виду свои давние атеистические убеждения. Но вместо того чтобы оспаривать существование Бога или души, он обратил теологический аргумент против самого Бога. Тьюринг указал: всемогущий Бог способен наделить мышлением что угодно – человека, слона, камень или машину. Если же он этого сделать не может, значит, могущество Всевышнего имеет пределы, что порождает больше вопросов, чем дает ответов. Поэтому, заключил Тьюринг, каждый – верующий или атеист – должен допускать возможность мыслящих машин.

Затем Тьюринг разобрал другое возражение, которое назвал «аргументом от сознания». Он