За секунду до: как мозг конструирует будущее, которое становится настоящим - Дэниел Йон

предложения. И ученые пришли к выводу, что признаков подлинного освоения языка в поведении Нима не наблюдается. Судя по всему, он просто научился определенным жестам, которые давали приятный для него результат: апельсин, банан, объятия.

Вы можете задать разумный вопрос: действительно ли из неудачной попытки научить шимпанзе говорить можно сделать далекоидущие выводы о языках и обучении в целом? Если Ним не смог научиться языку, похожему на человеческий, основываясь только на собственном опыте, это еще не значит, что человеческий разум неспособен научиться языку, просто усваивая паттерны во входящих звуковых данных.

Возможно, именно поэтому ученых больше заинтересовало исследование языка с машинами. В 1980-х и 1990-х программисты пытались узнать, могут ли искусственные алгоритмы понять работу разума и мозга. Заметным продвижением в этой отрасли когнитивных наук стал так называемый коннекционизм. Коннекционистские сети строят модель разума как ряда взаимосвязанных узлов и весов, подобно тому, как биологические мозги состоят из множества взаимосвязанных нейронов. Именно поэтому такие модели часто называют нейросетями.

Главное свойство коннекционистских сетей состоит в том, что по сути они умеют только ассоциировать. Это чистый лист. У такой сети нет ни априорных знаний, ни правил, только вероятностные паттерны, усвоенные из данных, на которых вы ее тренируете. И это очень важное свойство: если коннекционистская сеть решает с нуля некую проблему, это значит, что она решаема с использованием только обучения и предсказания — ведь это единственные инструменты в ее распоряжении.

А значит, если коннекционистская сеть может воссоздать аспекты человеческого языка, то мы получим доказательство — хотя бы в принципе, — что эти аспекты нашего ума тоже можно объяснить с точки зрения обучения и предсказания. И нам не нужно будет считать, что в наших умах уже заранее запрограммирована некая лингвистическая сущность.

Когда эти коннекционистские модели появились в 1980-х и 1990-х, первые результаты были впечатляющими. Сети, которые обучали только на паттернах звуков, могли воссоздавать паттерны речи, похожие на человеческие, и даже «развивали» в себе лингвистические привычки, похожие на привычки человеческих детей, осваивающих язык.

Одним из примеров стали работы по «избыточной регуляризации». Когда дети осваивают язык, то часто ищут закономерности там, где их нет. Например, если малыш, который учит английский, понимает, что мы используем суффикс «-ed», чтобы обозначить прошедшее время глагола, например в словах «walked» («шел») и «talked» («говорил»), он пытается применять это правило там, где оно неприменимо, и говорит, например, «I runned» или «I goed» вместо правильного «I ran» («я бежал») или «I went» («я пошел»).

Поначалу казалось, что подобное поведение — признак того, что дети изучают грамматическое правило (а потом начинают осваивать исключения). Но точно такие же ошибки появились, и когда ученые научили коннекционистскую сеть изучать и предсказывать спряжение глаголов[173]. У нее не было «в голове» никакой заранее запрограммированной грамматики, и из того, что она демонстрировала точно такие же причудливые привычки, можно сделать вывод, что нам не нужно представлять, будто в нашей голове изначально «живет» грамматика, чтобы объяснить, откуда берется такое поведение.

Коннекционистские сети, конечно, были очень интересными, но в конце концов работа в этой области зашла в тупик. Критики утверждали, что подобные модели могут усвоить некоторые свойства языка, но какие-то лингвистические правила алгоритмы ни за что не воссоздадут, если ученые тайком не впишут их в код программы[174]. Многие не верили, что чистое ассоциирование паттернов когда-нибудь даст нам на выходе язык, похожий на человеческий.

Но потом все начало меняться. Большие языковые модели, подобные LaMDA, строятся на основном принципе коннекционистской, однако на порядки укрупняют ее. В механическом мозге коннекционистской сети 1980-х или 1990-х были сотни или тысячи узлов и связей, а в современных больших языковых моделях таких «запчастей» миллиарды — и благодаря скачку вычислительной мощности произошел такой же заметный скачок и в достижениях этих разработок.

Вот пример работы другой большой языковой модели, GPT-2. Я дал ей в качестве запроса подчеркнутое предложение, остальное она написала сама:

В этой книге Дэниел утверждает, что мозг — «предсказывающая машина», а это особенно важно для понимания языка. Он считает, что мозг делает предсказания, основываясь на накопленных знаниях о мире. Мозг — это, по словам Дэниела, «экспериментальная машина» разума. В самой идее интересно то, что аргумент Дэниела, кажущийся простым, очень сложен для понимания. На самом деле подход Дэниела к языку зачастую трудно понять. Но эту книгу стоит прочесть, если вас интересуют занимательные и часто непонятные механизмы человеческого разума.

Прежде чем беспокоиться из-за этой равнодушной рецензии, сразу скажу, что языковая модель не читала книгу, чтобы прийти к такому выводу. Да даже если и прочитала бы, то мнения у нее на самом деле не было бы. Чтобы понять почему, вам нужно кое-что знать о том, как эти модели работают.

Большие языковые модели тренируют, давая им «читать» огромные объемы текста. Причем слово «огромный», пожалуй, даже преуменьшение — осознать настоящие масштабы трудно. Некоторые наборы данных включают петабайты текста, собранные в интернете. Один петабайт — миллиард мегабайт. Для наглядности: весь текст этой книги можно ужать до размера меньше двух мегабайт. Когда один из этих алгоритмов «прочитывает» набор данных, он просматривает столько текста, сколько содержится в миллиарде книг, стоящих друг за другом. Если бы вы могли читать десять книг в неделю — неделю за неделей, год за годом, не прерываясь ни на день, — вам понадобилось бы два миллиона лет, чтобы стать такими же начитанными, как эти модели после тренировки.

В этих огромных наборах данных алгоритмы встречают слова в контексте — так, как они употребляются в человеческом языке. Меняя триллионы параметров в своем искусственном разуме, модель выучивает статистические отношения между всеми словами, которые видела, и закономерности, согласно которым они появляются вместе. Процесс невероятно ресурсоемок: по некоторым оценкам, для обучения одной языковой модели потребляется больше энергии и сжигается больше углерода, чем среднестатистический человек потребляет и сжигает за шестьдесят лет[175]. Но после тренировки модель может воспользоваться добытыми в поте лица знаниями, чтобы читать входные данные и в ответ создавать собственный текст — используя огромный банк паттернов опыта, чтобы предсказать следующее слово во фразе, а за ним — следующее, и следующее, и следующее.

Таким образом, модели вроде GPT-2 не нужно иметь какого-либо мнения об этой книге, чтобы написать короткую рецензию. На основе полученного запроса она определяет лингвистический контекст и начинает «пережевывать» паттерны, ранее найденные в поразительно огромном наборе данных, на котором тренировалась, — и выдает текст, до жути похожий на человеческий. Настолько, что люди вроде Блейка Лемуана даже пытаются нанять