За секунду до: как мозг конструирует будущее, которое становится настоящим - Дэниел Йон

Прочтя описание механики работы этих моделей, вы, возможно, подумали: что бы они ни делали, когда пишут и читают, это не то же самое, что делаем мы, когда слушаем друг друга и сами произносим слова.

Но надежно ли это интуитивное мнение? Действительно ли происходящее в наших головах так отличается от того, что происходит внутри этих машин?

Ответить можно, объединив языковые модели с инструментарием нейробиологов. Интереснейшие, по моему мнению, работы в этой области принадлежат Михе Хейлброну — ныне доценту Амстердамского университета. Я познакомился с ним, когда мы оба только делали первые шаги в области когнитивной нейробиологии. Мы были студентами в Лондоне и слушали курс «Методы для “чайников”», на котором новичков знакомят со сложными методиками измерения того, что происходит внутри живого, думающего мозга. Тогда Миха, может быть, и был «чайником», но ситуация изменилась. За прошедшие годы он нашел немало творческих способов объединить эти методы для описания языковых механизмов мозга.

В одном особенно изобретательном исследовании Миха сравнил, что происходит, когда абсолютно одинаковые лингвистические входные данные проходят через биологический мозг и искусственный разум большой языковой модели[176]. Ученые рассматривали активность человеческого мозга и «мозга» языковой модели GPT-2, когда те слушали рассказы из «Приключений Шерлока Холмса» Артура Конан Дойла.

Сначала Миха с коллегами заглянули в «голову» модели и увидели, что GPT-2 предсказывает, какое слово прозвучит дальше. Если она получает фразу Конан Дойла[177], например: «I had called upon my friend, Mr Sherlock Holmes, one day in the autumn of last year and found him in deep conversation with a very stout, florid-faced, elderly…»[178], то генерирует не единственный вариант прогноза — например, что следующим словом будет «man» («мужчина»). Она вычисляет вероятность для каждого слова из своего лексикона — например, вероятность появления слова «man» довольно велика, но это может быть и «gentleman» («джентльмен»), и «woman» («женщина»), а вот «hound» («собака») вряд ли, и т. д. Так ученые получают возможность точно подсчитать, насколько «удивляется» модель, встретив то или иное слово в тексте, потому что размер «удивления» равняется обратной величине вероятности изначально ожидаемого слова.

Самое интригующее, что могут сделать Миха и его команда, — увязать то, что происходит с моделью, с тем, что происходит в нашем мозге. Ученые измерили уровень «удивления», выраженный моделью, и сопоставили его с активностью мозга участников-людей, слушавших тот же рассказ. Как ни удивительно это прозвучит, Миха обнаружил тесную связь между тем, что удивляло языковую модель и человеческий мозг. Активность в регионах височной доли, которые обычно считаются языковыми центрами мозга, совпадала с паттернами вероятности, полученными от GPT-2: чем более неожиданным оказывалось слово, тем выше была активность.

Более того, Миха и его команда статистически разделили предсказания GPT-2 на разные категории ожиданий с различным уровнем детализации: например, низкоуровневые предсказания звучания слова или высокоуровневые прогнозы семантики и значения. Эти отдельные компоненты, позаимствованные у искусственной модели, можно тоже сопоставить с активностью на разных иерархических уровнях мозга.

Исследование приводит нас к двум выводам. Во-первых, лингвистические предсказания буквально пронизывают наш мозг. Точно оценив степень удивления, а также показав, что на разных уровнях иерархии коры мозга наблюдается разный уровень удивления, мы получаем важное доказательство фундаментальной идеи о языке, озвученной в этой главе. Она гласит: наш мозг постоянно генерирует гипотезы о том, что мы слышим, что прозвучит дальше и что это все значит. Именно об этом мы говорили в главе 1, из которой узнали, что именно постоянное ожидание слов, которых мы слышим, делает речь в принципе понятной и разборчивой.

Во-вторых, мы узнали и кое-что еще — возможно, даже намного более важное: вычисления, проводимые искусственными языковыми моделями, и те, что происходят в наших головах, опираются на одну информацию. Это приводит нас к любопытному предположению: возможно, процессы в наших биологических мозгах и искусственных машинах имеют качественное сходство.

Если мы серьезно отнесемся к этой возможности, то она бросит заметную тень на декартову модель языка, с которой мы начали. С точки зрения Декарта или Хомского язык возносит нас на пьедестал, поскольку его невозможно свести к чисто механическому отслеживанию закономерностей. Но здесь мы видим, что крутящиеся вычислительные шестеренки механического алгоритма вроде GPT-2 порождают предсказательные структуры, похожие на те, что работают в языковых центрах мозга. Сходство между нашим умом и машинами на первый взгляд ставит перед нами очень неприятную дилемму. Что нам делать: поднять искусственные разумы на те пьянящие высоты, в которых парят наши собственные, или самим опуститься на пару ступенек и добровольно лечь в канаву неоригинальности и сопоставления шаблонов?

На первый взгляд мысль, что язык внутри нашего разума похож на язык внутри машин, пугает. Некомфортно считать, что языковые центры вашего мозга просто считывают и используют паттерны, как машина, и все, что вы говорите и пишете, состоит из «пережеванных» паттернов, мотивов, механизмов и фраз, усвоенных из чужой речи.

Меня тоже терзает это интуитивное беспокойство. На данном этапе, под конец книги, мысль о том, что я выполняю по сути механическую работу — ту, на которую машина потратит куда меньше усилий, — отрезвляет. Возможно, когда мы доживем до GPT-6 или GPT-7, алгоритмы смогут уже писать книги от начала до конца, причем более интересные и увлекательные, чем эта.

Возможно, нас ранит мысль о том, что наш оригинальный голос на самом деле вырабатывается механизмом в голове, который просто повторяет и копирует услышанное раньше. Но, возможно, мы найдем бальзам для раненой души, иначе взглянув на само определение оригинальности.

Копировать, чтобы создать новое

В подходе, который мы использовали до сих пор, добродетели вроде «оригинальности» и «генеративности» противопоставляются порокам — «копированию», «плагиату», «клише». Это кажется интуитивно верным, но может быть ошибкой. Например, эссеист XVI века Мишель де Монтень относился к заимствованиям куда более благосклонно.

Пчелы перелетают с цветка на цветок для того, чтобы собрать нектар, который они целиком претворяют в мед; ведь это уже больше не тимьян или майоран. Точно так же и то, что человек заимствует у других, будет преобразовано и переплавлено им самим, чтобы стать его собственным творением, то есть собственным его суждением[179].

Аргумент Монтеня служит блестящим доказательством самому себе: красивую метафору с пчелами он, скорее всего, украл у римского писателя Сенеки, который дал такое же описание творческого грабежа примерно за 2000 лет до него[180].

Монтень, полагаю, нашел бы общий язык с группой психологов, которые называют себя «эволюционными эпистемологами»; они считают, что процессы творчества и заимствования не противоположны, а взаимосвязаны.

Термин «эволюционная эпистемология» предложил психолог Дональд Кэмпбелл; он основан