Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

невозможно решить путем приближений, — они окончательно зайдут в тупик. С помощью серии слепых догадок невозможно найти лекарство от рака или разгадать тайну холодного ядерного синтеза. И действительно, даже в случае с простой арифметикой, в отличие от карманного калькулятора, результаты больших языковых моделей ухудшаются по мере усложнения задачи. Например, в одной работе было показано, что хотя GPT-4 без труда находит произведение двух трехзначных целых чисел, она время от времени совершает ошибки при умножении пар чисел, превышающих десять тысяч.[*3] В целом это звучит как убедительный аргумент. Однако он держится на представлении о том, что прогнозирующая система никогда не сможет рассуждать так, как человек. Как мы увидим далее, вовсе не очевидно, что это так.

Чтобы понять почему, нам нужно немного углубиться в то, как устроен человеческий разум. Психологи давно предполагают, что, принимая решения, люди используют одну из двух различных когнитивных систем. Эти системы действуют как ментальные советники-близнецы, каждый из которых обладает дополняющими друг друга навыками. Советник 1 — быстрый и приблизительный: он выносит мгновенные суждения, но на его точность не всегда можно положиться. Советник 2 — медленный и точный: он тщательно всё просчитывает, но требует времени. Каждая когнитивная система оценивает имеющиеся данные и предлагает свой вариант действий.[*4] К примеру, рассмотрим следующий вариант известной головоломки: «Велосипед и замок вместе стоят 220 долларов. Велосипед на 200 долларов дороже замка. Сколько стоит замок?»

Если вы видите эту головоломку впервые, ваш разум, скорее всего, быстро склонился к кажущемуся очевидным ответу: замок стоит 20 долларов. Это Советник 1 делает быструю прикидку. Но если поразмыслить: если велосипед стоит на 200 долларов дороже замка (то есть 220 долларов), то вместе они стоят 240 долларов, а значит, ответ неверный. Если у вас есть время, вы можете призвать на помощь Советника 2. Согласно теоретическим представлениям, система, на которую опирается Советник 2, имеет доступ к некоторым особым вычислительным приемам, таким как систематический перебор различных вариантов решений. Либо он может стряхнуть пыль со школьного курса математики и решить систему уравнений x + y = $220 и x − y = $200, где x и y — цены велосипеда и замка. Пошаговые вычисления Советника 2 наиболее полезны в ситуациях, когда нет права на ошибку, таких как логический вывод, математическое рассуждение или поиск кратчайшего пути из точки А в точку Б. Советник 2 наголову разбил бы Советника 1 в шахматах (но, пожалуй, не в блице, где ходы делаются на бешеной скорости). Психологи полагают, что быстрая и приблизительная система принятия решений сформировалась у нас в ходе эволюции для того, чтобы избавить нас от необходимости излишне раздумывать над каждым обыденным выбором — например, что съесть на завтрак или как добраться до работы, что в противном случае требовало бы слишком больших вычислительных затрат и времени. Поэтому мы просто тянемся к мюсли или поворачиваем налево, выйдя за порог дома, полагаясь на простые и дешевые подсказки Советника 1. Но для более судьбоносных решений — например, на ком жениться или стоит ли наконец бросить эту унылую, но денежную работу — мы всегда можем обратиться к Советнику 2.

Как же эти две системы у людей учатся давать советы? Когнитивисты полагают, что Советник 1 представляет собой результат работы системы обучения на основе привычек. Привычки — это паттерны поведения, которые мы приобретаем медленно, со временем, методом проб и ошибок. В процессе такого обучения наши прогнозы поначалу далеки от истины, но постепенно уточняются с накоплением опыта. Вот почему виды деятельности, требующие быстрых, приблизительных вычислений — например, выпад для приема теннисной подачи, попадание в нужные ноты при игре на трубе или распознавание певчей птицы по мимолетному взгляду, — как правило, оттачиваются медленно, в ходе практики. Но люди демонстрируют и множество других форм поведения, которые, кажется, невозможно освоить методом проб и ошибок: решение судоку, понимание линейной алгебры или заучивание Корана наизусть. Представьте себе изучение французского как второго языка исключительно методом проб и ошибок. Это было бы медленно, мучительно и определенно обеспечило бы вам косые взгляды в парижском кафе. А учиться строить мосты или пилотировать самолет наугад было бы верхом безрассудства. Поэтому легко понять, почему «простое прогнозирование» — угадывание на основе опыта — пользуется дурной репутацией.

Вместо этого обычно предполагается, что Советник 2 опирается на иную, целенаправленную систему, которая систематически ищет наилучшее возможное действие в данных обстоятельствах, позволяя нам точно понять, как решить головоломку, освоить новую концепцию или достичь нужного результата. Проблема в том, что гораздо менее понятно, как именно мы учимся достигать своих целей. На самом деле когнитивисты рационалистического толка склонны обходить этот вопрос стороной, утверждая, что некий вариант Советника 2 присутствует у нас с рождения, а значит, мы появляемся на свет с уже функционирующими врожденными навыками числового, логического и причинно-следственного мышления. Эволюция, безусловно, дает людям огромную фору во всех этих областях, и это одна из причин, почему обезьян не берут на работу бухгалтерами или инженерами. Но этот «нативистский» аргумент не объясняет, как мы начинаем с зубрежки таблицы умножения, а заканчиваем освоением интегралов и тригонометрии. Очевидно, что со временем люди начинают рассуждать лучше — это вам подтвердит любой родитель шестилетнего ребенка. Соответственно, этот взгляд оставляет без объяснения и то, как большие языковые модели умудряются отвечать на математические вопросы и решать задачи на логику, которые мы обычно считаем исключительной епархией Советника 2, притом что обучали эти модели исключительно методом проб и ошибок.

Однако на эту загадку есть ответ, и весьма примечательный. Он переворачивает с ног на голову устоявшиеся десятилетиями прописные истины о Советнике 1 и Советнике 2, которые занимали центральное место в когнитивистике, и объясняет, как БЯМ, судя по всему, могут научиться «думать» и «рассуждать» исключительно на основе прогнозирования. Секрет в том, что обучение методом проб и ошибок может позволить агентам (как людям, так и БЯМ) осваивать крайне сложные формы поведения, включая те, что традиционно закреплены за Советником 2, поскольку привычки позволяют нам учиться учиться. Обучение обучению (также известное как метаобучение) — это феномен, благодаря которому после освоения задач A, B и C мы можем быстрее решить задачу D, даже если она для нас абсолютно нова. Именно это позволяет некоторым людям становиться выдающимися полиглотами: ведь чем больше языков вы уже знаете, тем легче дается следующий. Об одном выдающемся полиглоте ходили слухи, что он освоил мальтийский всего за неделю.[*5] Языки имеют общую структуру — например, в большинстве из них есть времена, падежи и множественное число,