Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

В ряде недавних публикаций авторы черпают вдохновение напрямую из методов символьного ИИ, чтобы помочь БЯМ с планированием. В некоторых из них модель просят явно генерировать «мысли», развивая фундаментальные идеи CoT-промптинга (метода цепочки рассуждений). Мы можем определить «мысли» как предварительные формулировки на естественном языке (произносимые вслух или во внутренней речи), которые помогают в достижении конечной цели. Что важно, «мысли» могут использоваться для рассуждений без обязательства немедленно выдать ответ — подобно тому, как вы можете мысленно сформулировать реплику, затем отбросить эту идею, передумать и выдать в качестве окончательного ответа совершенно другое, правильное суждение.

В качестве примера можно привести одну работу, где БЯМ оснастили двумя спаренными модулями для планирования: один генерирует целое «дерево мыслей», а другой отслеживает, помогает ли каждая отдельная «мысль» приблизить достижение цели.[*6] Каждая мысль представляет собой суждение, выраженное на естественном языке, о том, как один шаг рассуждения ведет к другому. Так, в нашем примере со схемой лондонского метро генератор мыслей мог бы выдать следующее:

Если поехать на север по Кольцевой линии от «Ноттинг-хилл», вы приедете на «Кингс-Кросс»

Если поехать на юг по линии Дистрикт от «Ноттинг-хилл», вы приедете в Уимблдон

Если поехать на юг по Кольцевой линии от «Ноттинг-хилл», вы приедете на «Саут-Кенсингтон»

Модуль оценки также использует естественный язык, чтобы судить о том, приближает ли каждый шаг к цели. Например, БЯМ знает, что «Кингс-Кросс» находится ближе к «Олд-стрит», чем Уимблдон или «Саут-Кенсингтон», поскольку хранит эту информацию в своей семантической памяти. Она может использовать это знание, чтобы пойти по ветви (1), отбросив альтернативы (2) и (3), и сгенерировать мысль о том, куда двигаться дальше от «Кингс-Кросс». Таким образом, менее перспективные ветви «отсекаются», что позволяет модели сосредоточиться на тех, которые могут привести к цели, — опираясь на старую идею из области классического планирования. Если параллельно активировано много потенциально полезных «мыслей», БЯМ может сохранять или отбрасывать их, используя эвристические алгоритмы, получившие популярность в 1990-х годах, такие как поиск в ширину и поиск в глубину, которые начинают соответственно с исследования широкого спектра вариантов или продвижения по одной ветви глубоко в дерево. Именно о таком логическом, пошаговом мышлении всегда мечтали рационалисты — с той лишь разницей, что теперь оно реализовано в огромной глубокой нейронной сети на базе трансформеров.

Добавление модуля «дерева мыслей» (tree of thought, ToT) помогло GPT-4 решать задачи на поиск путей достижения цели (means–end reasoning) гораздо эффективнее, чем метод цепочки рассуждений (CoT). Например, «Игра в 24» — это математическая головоломка, цель которой состоит в том, чтобы с помощью четырех чисел и базовых арифметических операций (сложения, вычитания, умножения и деления) получить в итоге ровно 24. При наличии четырех чисел, четырех арифметических операций и возможности использования скобок существует не менее 9000 возможных уравнений, из которых лишь крошечная часть дает в результате 24, что делает эту задачу похожей на поиск иголки в стоге сена. К примеру, если даны числа 10, 9, 13 и 4, правильным решением будет (10 − 4) × (13 − 9) = 24. Модель ToT решала 70% подобных задач, в то время как все варианты CoT буксовали на уровне ниже 10%. Хотя кроссворд из New York Times по-прежнему остается не по зубам для БЯМ, ToT оказалась способна разгадать большинство словесных подсказок в более простом мини-кроссворде 5 × 5, тогда как другие модели справлялись лишь с единичными вопросами. Она также хорошо проявила себя в задании на творческое письмо, где требовалось сочинить короткий рассказ из четырех абзацев, каждый из которых должен был заканчиваться заранее заданной, случайно выбранной фразой (например, «Его застало врасплох то, что в помещении пахло жареным стейком» или «Сделать стойку на руках несложно, если просто стоять на руках»). Люди-оценщики сочли получившиеся рассказы более связными в тех случаях, когда модель предварительно обдумывала возможные сюжетные линии с помощью подхода ToT.

В рамках другого аналогичного проекта используется целая череда подсказок, побуждающих БЯМ формулировать промежуточные цели (подцели), стремиться к ним и отслеживать прогресс на пути к их достижению. Это привело к улучшению результатов в задачах, связанных с перемещением по графу от узла к узлу — наподобие описанной выше задачи с навигацией по лондонскому метро.[*7] Но БЯМ часто испытывают трудности с подобными задачами. При планировании модель может выдумывать несуществующие маршруты (например, предлагая поехать по линии «Виктория» от «Оксфорд-серкус» до «Марбл-арч»), даже если при прямом запросе она способна верно ответить, что «Марбл-арч» находится на Центральной линии. Эту пропасть между знанием фактов и их успешным использованием для многошаговых рассуждений называют разрывом композиционности (compositionality gap).[*8]

В части 1 мы познакомились с Cyc — экспертной системой из 1980-х годов, созданной для логических рассуждений на основе жестко запрограммированных правил («если X больше, чем Y, то Y меньше, чем X») и прописанной вручную базы знаний («млекопитающие не откладывают яйца»). Проект Cyc в конечном счете потерпел неудачу в своем стремлении создать универсальную мыслящую систему, поскольку наши семантические знания полны странных исключений, что лишает нас возможности создать компактную систему для ручной записи всего, что мы знаем (как известно, утконосы откладывают яйца, хотя и являются млекопитающими). Но прекрасная особенность БЯМ заключается в том, что они уже впитали в себя гигантские объемы знаний, извлеченных из интернета и заложенных в их веса на этапе предварительного обучения (GPT-4 может во всех подробностях рассказать мне о яйцекладущих млекопитающих, если я решу поинтересоваться). Поскольку БЯМ опираются на целые океаны семантических знаний, они могут использовать сам язык, чтобы генерировать возможные шаги в дереве рассуждений, предсказывать их последствия, рассматривать гипотетические сценарии и отбрасывать тупиковые теории. Вероятно, это очень похоже на то, как рассуждают люди в реальном мире: архитектор решает, стоит ли добавить огромные окна, чтобы выигрышно использовать великолепный вид; биолог размышляет о том, как вирус связывается с мембранами клеток хозяина; а свадебный распорядитель не забывает снабдить каждый стол на праздничном банкете средством от комаров, чтобы защитить гостей от голодных летающих нахлебников.

Так что же стоит между нами и языковыми моделями, способными к первоклассному планированию? Весьма вероятно, что не за горами еще более изобретательные способы использования «мыслей», которые позволят БЯМ рассуждать на языке внутренней речи — обдумывать возможные варианты ответов, прежде чем выдать окончательный вариант. Если это так, то подобные методы, скорее всего, дадут языковым моделям колоссальное преимущество в планировании и, возможно, позволят им решать задачи, требующие долгосрочного планирования,