Иной разум. Как «думает» искусственный интеллект? - Андрей Владимирович Курпатов

Впрочем, как мы уже знаем, многих это обстоятельство не смущает. И Саттон признаёт, что для множества задач это не просто хорошо, а великолепно. ИИ-имитатор может писать электронные письма, обобщать статьи, помогать программисту с кодом. Он — идеальный ассистент, потому что его главная задача — действовать в рамках уже существующих человеческих практик.

Но для создания общего искусственного интеллекта (AGI), считает Саттон, этого категорически недостаточно, ведь имитатор по своей природе не способен выйти за пределы того, что он имитирует.

Представьте себе студента-медика, который выучил наизусть все медицинские учебники мира. Да, он сможет блестяще сдать любой экзамен и описать симптомы любой известной болезни. Но поставьте его в реальное отделение неотложной помощи, и это будет настоящий провал.

Пациент не поступает сюда из конкретной главы учебника. Его приводит к врачу реальная жизнь — индивидуальная генетика, особенности взаимодействия множества внутренних систем организма (от сердечно-сосудистой до кожно-выделительной), специфика иммунной и эндокринной систем, а также обмена веществ, перенесённые и сопутствующие заболевания, образ жизни и актуальные обстоятельства, ставшие непосредственной причиной обращения пациента за медицинской помощью.

С этим «языковой» ИИ, считает Саттон, никогда не справится.

Во-вторых, Саттон в принципе считает ошибочной попытку передать ИИ наши знания.

Он обобщил эту идею в своём знаменитом эссе «Горький урок»: проанализировав 70-летнюю историю ИИ, он обнаружил неумолимую закономерность — снова и снова исследователи пытаются ускорить прогресс, «встраивая» в машины свои собственные, человеческие знания и эвристики (способы работы с информацией).

И каждый раз, хотя и в долгосрочной перспективе, эти подходы проигрывают более общим методам, которые полагаются лишь на две вещи: колоссальную мощь вы-числений и универсальные алгоритмы обучения.

С этой точки зрения LLM — это, конечно, апофеоз «встраивания» человеческого знания в машинную систему. Но это значит, что такой ИИ никогда не сможет превзойти наши фундаментальные ограничения, при этом наш язык — это невероятно плохой канал передачи знаний.

Он «беден информацией» не в том смысле, что в нём мало фактов, а в том, что он упускает самое главное — структуру самой реальности:

• прямой опыт взаимодействия с миром — это гигантский, мультимодальный поток данных высочайшей чёткости, а язык — это крошечный, одномерный ручеёк (сравните количество данных, которые можно считать с объекта, скатившегося со стола, и фразу «мяч упал со стола»);

• язык не просто сжимает данные, но делает это с потерями, причём мы сами решаем, что потерять, то есть описываем то, что мы сами считаем важным, применительно к конкретному адресату (сравните, сколько информации заключено в чашке горячего кофе, которую вы держите в руках, но ведь другу вам её не надо объяснять, достаточно сказать: «Я пью кофе»);

• фундаментальные законы нашего мира — гравитация, постоянство объектов, трение — настолько для нас очевидны, что мы почти никогда не упоминаем их в речи (это то, что мы назвали «тёмной материей» нашего опыта — в обучающих данных просто нет информации о том, что «естественно» для всех людей);

• наконец, язык — это статичный отчёт о прошлом опыте, тогда как реальный мир представляет собой динамическую систему, реагирующую на всякое наше действие (когда мы учимся кататься на велосипеде, каждое наше микродвижение оценивается с помощью положительной или отрицательной обратной связи, а этого нет в учебниках).

Таким образом, мы привязаны к нашему несовершенному, низкопропускному и искажённому описанию мира, а обученный на этих данных ИИ всегда будет хуже нас справляться с задачами, которые мы решаем в этом мире. Истинный интеллект, по Саттону, должен генерировать знание сам.

Наконец, в-третьих, Саттон считает, что ИИ должен учиться на определённом «опыте». Он разделяет два фундаментально разных типа опыта:

• пассивный опыт (знание) — то, на чём учатся LLM, и это, по сути, единовременный акт обработки статичного набора данных (как прочитать всю библиотеку мира ещё до своего рождения), на кристаллизованном опыте других;

• активный опыт (взаимодействие) — это непрерывный, динамический процесс взаимодействия с окружающей средой (не чтение книг о том, как плавать, а прыжок в воду и попытки удержаться на плаву), то есть поток действий, наблюдений и последствий, собственный опыт.

Проще говоря, вместо того чтобы учить машины всему, что мы знаем, мы должны научить их, как учиться самим — не из нашего прошлого, а из своего собственного динамического взаимодействия с реальностью.

Цифровой младенец

В противовес пассивному изучению текстов Ричард Саттон предлагает парадигму, основанную на обучении с подкреплением, — «агент» (система ИИ) помещается в «среду» и обучается в непрерывном цикле взаимодействия: действие → наблюдение → вознаграждение.

Цель агента — научиться выбирать такие действия, которые максимизируют суммарное вознаграждение, которое он получает. Образно говоря, он должен учиться не тому, как звучать правильно, а тому, как действовать эффективно[176][177].

Кажется, что это просто идеальное решение: мы создаём «цифрового младенца», который, как и ребёнок, будет учиться на собственных пробах и ошибках. Но это лишь звучит понятно…

Новорождённый человеческий ребёнок — отнюдь не «чистый лист». Да, мы не рождаемся с готовыми знаниями, но в нас изначально встроена гениальная машина для их приобретения. Наш мозг уже запрограммирован эволюцией на то, чтобы искать удовольствие и избегать боли. И именно этот внутренний компас заставляет нас учиться.

Точно так же и агентный ИИ Саттона — это не пустая программа, а специальная архитектура, созданная для обучения. У него должны быть «цифровые чувства» (пространство восприятия), «цифровые мышцы» (пространство действий) и, что самое главное, цель, заданная в виде функции вознаграждения.

Проще говоря, ему не говорят, что делать, а лишь отмечают, что хорошо (цель достигнута) и что плохо (цель не достигнута). Но предварительно загруженных в него человеческих понятий у этого агента быть не должно: ни «стула», ни «стены», ни «гравитации» — все эти и другие концепции он должен будет открыть для себя сам, с нуля.

Но если в случае реального младенца «хорошо» и «плохо» заданы его биологией и затем социальной средой, то где мы возьмём настройки для цифрового младенца?

Первая проблема: какой потребностью наш агент будет руководствоваться?

Ребёнок — живое существо, ведомое мощными, врождёнными, универсальными биологическими потребностями: в пище, тепле, безопасности, социальной связи. Эти потребности создают естественную иерархию ценностей и служат негасимым внутренним двигателем всего его познания.

У агента Саттона такого двигателя нет. Его «потребность» — это функция вознаграждения, написанная программистом, то есть, по существу, внешняя, искусственная, узкоспециализированная инструкция. Агент, обученный выигрывать в шахматы, не имеет никакой внутренней причины интересоваться чем-либо ещё. Его «желания» не его собственные.

И пока никто