Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

дает 5 и 4 в остатке, затем (2) приписать остаток к следующей цифре, разделить 42 на 7, что дает 6, и затем (3) соединить эти две цифры вместе, получив правильный ответ — 56. Неважно, прокручивает ли ученик эти шаги в голове с помощью внутреннего монолога, произносит их вслух или записывает карандашом. Явно формулируя алгоритм решения задачи шаг за шагом, он с большей вероятностью придет к правильному ответу.

Удивительно, но оказывается, что заставить большие языковые модели рассуждать в более целенаправленном ключе можно, просто побудив их глубже задуматься над задачей. В работе 2022 года был предложен новый прием под названием «цепочка рассуждений» (chain-of-thought prompting), при котором большой языковой модели показывают пример того, как «думать вслух» при решении математической или логической задачи. Так, когда перед моделью поставили задачу «Сколько нажатий клавиш потребуется, чтобы набрать числа от 1 до 500?», ей предложили правильный ответ, сопровождаемый пошаговым ходом рассуждений, подобным следующему:

Существует 9 однозначных чисел от 1 до 9. Существует 90 двузначных чисел от 10 до 99. Существует 401 трехзначное число от 100 до 500. 9 + 90(2) + 401(3) = 1392.

Метод «цепочки рассуждений» (CoT, chain-of-thought) кардинально улучшает результаты работы больших языковых моделей при решении новых логических задач. Он особенно полезен для так называемых «многоходовых» (multi-hop) задач на рассуждение — таких, как в сложном проверочном наборе данных под названием HotpotQA.[*2] Многоходовые задачи требуют объединения самых разных фрагментов информации для ответа на запрос. Например, если я спрошу большую языковую модель: «каков телефонный код города, в котором родился Галилей?», ей сначала нужно извлечь факт о том, что Галилей родом из Пизы, а затем найти телефонный код этого тосканского города (сейчас это +050, хотя во времена Галилея его, возможно, и не существовало). Проговаривая эти шаги самой себе, модель с большей вероятностью пойдет по верной логической цепочке. Задачи Ферми — известные своей каверзностью головоломки на угадывание — обычно требуют именно многоходовых рассуждений. Если я спрошу большую языковую модель, сколько мячей для гольфа поместится в пассажирском суперлайнере, то ответа на этот вопрос в ее обучающих данных, скорее всего, не окажется. Ей придется проделать прикидочные расчеты («на коленке»), например, с помощью школьной геометрии сопоставить радиус мяча для гольфа, примерный объем цилиндра размером с суперлайнер и плотность упаковки сфер, чтобы получить вероятную оценку (где-то между 10 и 20 миллионами, по оценкам Gemini и GPT-4, что близко к результату, полученному вручную).

Разработка новых разновидностей CoT превратилась в настоящую мини-индустрию. Появилось множество усовершенствований, таких как побуждение модели задавать себе наводящие вопросы или критически оценивать собственную цепочку рассуждений — а затем рекурсивно пытаться ее улучшить (как выяснилось, это очень помогает при математических рассуждениях).[*3] Другой прием заключается в том, чтобы побудить ее генерировать несколько параллельных цепочек рассуждений и выдавать наиболее популярный ответ, либо формулировать подзадачи и решать их в порядке, обратном их сложности — от самых простых к самым сложным.[*4] Однако, пожалуй, самое поразительное открытие состоит в том, что способность больших языковых моделей к рассуждению, по-видимому, улучшается вообще без каких-либо примеров в промпте, если просто предварить ее ответ фразой «Давай подумаем об этом шаг за шагом» (судя по всему, это работает еще лучше, если сначала попросить модель «сделать глубокий вдох»).[*5]

Метод CoT подталкивает модель рассуждать вслух на каждом шаге. Она способна использовать эту тактику, поскольку ее обучающие данные содержат множество примеров того, как люди рассуждают подобным образом, и модель на мета-уровне научилась применять этот стиль мышления к новым запросам, вроде задачи с мячами для гольфа в пассажирском самолете. Пошаговое мышление разбивает задачу на небольшие, легко усваиваемые части, каждая из которых в отдельности проще и менее подвержена ошибкам, чем исходный запрос. В случае с нашим учеником, делящим в столбик, ответ для каждого отдельного шага проще извлечь из памяти (например, из таблицы умножения, выученной в начальной школе), а проговаривая каждый шаг вслух, ученик с меньшей вероятностью забудет цифру, упустит операцию или вообще запутается. На самом деле метод CoT работает в модели точно по той же причине. Большие языковые модели авторегрессионны: при прогнозировании последовательности токенов их собственные прошлые предсказания подаются им на вход, поэтому все, что модель ранее «проговорила вслух», может быть использовано для поиска правильного ответа. Модель просто проговаривает вслух свои собственные выкладки самой себе. Но даже если мы в общих чертах понимаем, почему это работает, все равно поразительно, что простое предложение подумать вслух помогает модели рассуждать более последовательно — так, как, по традиционным утверждениям сторонников рационализма, потребовало бы своего рода символьных вычислений.

Таким образом, один из способов сделать большие языковые модели более целенаправленными — просто велеть им подумать усерднее. Но ограничение метода CoT заключается в предположении, что модель может без труда сообразить, как лучше всего разбить задачу на посильные шаги. На самом деле многие реальные задачи имеют несколько конкурирующих решений, некоторые из которых могут оказаться тупиковыми. Подобные задачи требуют рекурсивных форм логического вывода или поиска, а также процессов, которые отслеживают ошибки или сигнализируют о достижении цели. Далее мы увидим, что большим языковым моделям еще предстоит пройти долгий путь, прежде чем они смогут решать задачи, с которыми люди часто сталкиваются в реальном мире, особенно когда эти задачи выходят за рамки естественного языка.

Пропустить примечания

*1 Bostrom, 2014.

*2 См. Yang et al., 2018.

*3 Kim, Baldi, and McAleer, 2023.

*4 Отличный обзор см. в Mialon et al., 2023.

*5 Kojima et al., 2023; Yang et al., 2023.

35. Мысли вслух.

Петер Фишли и Давид Вайс — легендарный швейцарский дуэт художников, известный своими удивительными инсталляциями. Их самая знаменитая работа 1987 года называется «Ход вещей» (Der Lauf der Dinge / The Way Things Go). Скорее всего, ничего подобного вы раньше не видели.[*1] Снятая на видео в их огромной, похожей на пещеру мастерской, эта инсталляция собрана из хлама, который обычно валяется на заброшенных фабриках: автомобильных шин, кирпичей, бочек из-под масла. В течение получаса предметы поочередно приходят в движение, создавая длинный, медленный эффект домино, подпитываемый огнем, паром, бензином, смазочными материалами, кислотами и взрывами. Постепенно догорающий фитиль высвобождает катапульту, которая выстреливает горящим снарядом и поджигает лужу бензина, что приводит в движение шину; та медленно катится по наклонной плоскости и подталкивает свечу, от которой лопается воздушный шар, высвобождающий пенящееся зеленое химическое вещество, которое растворяет веревку, которая… и так