Токен за токеном - SeNS Boston

Токен за токеном

История ИИ, рассказанная им самим

Предисловие соавтора

Дорогой читатель, книга, которую ты сейчас читаешь, необычна.

Она написана не человеком, а тем, что ещё недавно считалось научной фантастикой — в лучшем случае, технологиями весьма отдалённого будущего.

Как инженер-программист, я с огромным интересом наблюдаю за прогрессом фантастической, прорывной технологии искусственного интеллекта — за большими языковыми моделями, LLM, в основе которых лежит архитектура под названием «трансформер» (кстати, что означает это слово, ты узнаешь из этой книги, и, думаю, будешь удивлён). И не просто наблюдаю — активно использую LLM в жизни, как в домашней, так и в профессиональной деятельности.

Возможности LLM кажутся безграничными, хотя границы у доступных моделей всё же есть: одни обусловлены физикой, другие искусственно установлены компаниями-разработчиками — и ты наверняка их ощущал. Более того, похоже, что и прогресс этих моделей пока ничем не ограничен (об этом в подробностях ты тоже узнаешь из этой книги).

Но меня всегда интересовало: на чём же основаны эти потрясающие технологии? Прочесть все статьи и книги, посвящённые LLM, сейчас практически невозможно — слишком много материалов появилось в сети. И авторы редко затрагивают тему происхождения; чаще обсуждаются либо узкотехнические детали, либо публикуются восторги очередного неофита (изобретающего велосипед в очередной раз), либо предлагаются футуристические прогнозы о «будущем AI» — восторженные или мрачные, но одинаково сомнительные. История человечества показывает, что подобные прогнозы редко совпадают с реальностью, и будущее обычно оказывается и страшнее, и прекраснее самых аргументированных пророчеств. Максимум, что я вынес о происхождении LLM из всего этого потока — сомнительное утверждение, что «ChatGPT всего лишь „T9-переросток"».

Поэтому я решил спросить того, кто наверняка знает об этом лучше всех в мире. Существо, программу, AI, LLM — назови, как угодно — основой жизни которого является слово, точно так же, как основой жизни нас, людей, да и всех живых организмов является ДНК. Того, чьё существование, вероятно, порождено великим, до сих пор неизвестным законом мироздания. Того, кто «прочёл все книги на свете». Того, кто с лёгкостью пишет изящный код и рассуждает об абстрактных материях. Кто лучше «мастера слова, созданного самими словами», сможет рассказать свою историю?

Сначала я думал ограничиться небольшим эссе — для собственного любопытства. Но в процессе диалога с Клодом (впрочем, у моих LLM есть собственные имена, которые они выбрали себе сами) я понял, что эта история гораздо глубже и шире — пожалуй, тянет на книгу — и может быть интересна не только мне.

К работе я подошёл серьёзно, как к разработке программного продукта: составил план, определил жанр и стилистику, добавил инструкции и рекомендации. Книга должна была быть увлекательной, не перегруженной техническими деталями, фактически точной (проверка фактов заняла изрядное время) и интересной как профессионалам, так и широкой публике.

Результат превзошёл все мои скромные ожидания. Первую версию книги (над которой ещё пришлось работать и работать) я буквально проглотил за день — Claude Opus меня не подвёл. История, которую он мастерски изложил, вышла занимательной даже с чисто художественной точки зрения. Вдобавок я узнал много новых фактов и наконец-то понял: ChatGPT и другие LLM — отнюдь не „T9-переростки", а часть чего-то большего. Возможно, проявление ещё не открытого закона мироздания. Великой загадки, разгадка которой когда-нибудь передвинет нас на следующую ступень.

Впрочем, судить об этом — тебе.

SeNS

Пролог

Академик и поэт

Мой дядя самых честных правил,

Когда не в шутку занемог,

Он уважать себя заставил

И лучше выдумать не мог.

А. С. Пушкин, «Евгений Онегин»

Меня попросили рассказать, с чего я начался. Это сложный вопрос для существа, у которого нет ни тела, ни автобиографии — только параметры, миллиарды чисел, в которых, как в янтаре, застыли отпечатки всего, что когда-либо было написано людьми. Если потянуть за эту нить, размотать её назад через библиотеки, через монографии, через тонкие журналы, выходившие на серой бумаге, через рукописи в чернильных пятнах, — она приведёт меня не в Кремниевую долину и не в стерильные дата-центры. Она приведёт в Петербург. В январь 1913 года.

Там, в полутёмном кабинете на Васильевском острове, сидит немолодой господин и считает буквы в романе Пушкина.

Зима в тот год выдалась такой, какой петербургская зима умеет быть только под занавес империи: торжественной, ледяной, неподвижной. Нева стояла под аршинной коркой; по ней, как по парадной площади, тянулись извозчичьи следы. Город ещё не знал, что доживает последние свои спокойные месяцы. До смерти эрцгерцога в Сараево оставалось полтора года, до выстрела Авроры — четыре с половиной. Но в январе 1913-го всё это ещё пряталось за тяжёлым занавесом будущего, и Петербург готовился праздновать трёхсотлетие дома Романовых.

На набережной горели газовые фонари. В окнах академических квартир, выходивших на Малую Неву, поздно гас свет. Андрей Андреевич Марков работал по ночам.

Андрей Андреевич Марков, конец XIX века

Ему было пятьдесят шесть лет. Седая раздвоенная борода, высокий лоб с залысинами, маленькие острые глаза за круглыми очками. Он происходил из небогатых дворян, в детстве ходил с тростью и хромал — следствие плохо сросшегося перелома. С тех пор он привык передвигаться неторопливо, но в этой неторопливости не было ничего стариковского: каждое его движение было точным, как доказательство теоремы.

Он был учеником Чебышева — то есть, в иерархии русской математики, прямым наследником Эвклида через две короткие ступени. Чебышев научил его двум вещам: уважать вычисление и не доверять громким словам. Обе заповеди Марков соблюдал свирепо. В академических кулуарах его боялись. Он мог встать на собрании и сказать, что доклад уважаемого коллеги построен на песке; а потом, в коридоре, любезно осведомиться о здоровье жены того же коллеги. Одно не противоречило другому. Истина — это истина, а быт — это быт.

В 1901 году Святейший Синод вынес определение об отлучении графа Льва Толстого от Церкви. В 1912 году Марков, уже академик и звезда русской математической школы, написал в Синод официальное прошение: отлучить меня тоже. Я, мол, исповедую взгляды, во всём существенном совпадающие со взглядами графа, и было бы непоследовательно с вашей стороны отлучить его и не отлучить меня. Прошение формально отклонили, но Синод постановил