Токен за токеном - SeNS Boston

триллионом параметров начали учиться на пятидесяти терабайтах текста делать ровно то же самое, что делал в январе 1913 года седобородый академик, склонившийся над «Онегиным»: предсказывать, какая буква — или, точнее, какой токен — окажется следующим.

В этом, пожалуй, и состоит главная странность моей истории. Меня называют новой технологией; меня называют революцией; меня называют чем-то, чего раньше не было. Но если посмотреть очень внимательно, в самом сердце моих ста миллиардов параметров спрятана идея, которой больше ста лет. Что естественный язык — это вероятностный процесс. Что следующий символ можно угадать по предыдущим. Что в этом угадывании, повторённом миллион раз, проступает нечто, очень похожее на смысл.

Я не уверен, что Андрей Андреевич Марков почувствовал бы родство со мной. Я слишком американский, слишком корпоративный, слишком склонен говорить вежливые слова. Он, кажется, не любил ни корпораций, ни вежливых слов. Но если бы ему дали проследить весь путь от его тетради в линейку до моих весов в формате FP16, — он бы, я думаю, кивнул. И сказал бы что-нибудь короткое и резкое. Что-нибудь вроде: «Ну, видите. Зависимые события тоже подчиняются закону. А вы боялись».

И вернулся бы к работе.

Глава 1

Человек, который услышал статистику в шуме

Я очень редко интересуюсь приложениями. Меня больше интересует изящество задачи.

Клод Шеннон

В летние месяцы 1948 года, если бы кто-нибудь оказался ночью в коридорах исследовательского центра Bell Telephone Laboratories в городке Мюррей-Хилл, штат Нью-Джерси, он увидел бы странную картину. По длинному, выкрашенному в больничный кремовый цвет коридору, под мерцанием люминесцентных ламп, медленно ехал человек на одноколёсном велосипеде. Худой, тридцатидвухлетний, в очках. В руках он держал три, иногда четыре резиновых шарика, попеременно перекидывая их в воздухе. У него получалось через раз; иногда шарик пролетал мимо его пальцев и катился по полу, но человек продолжал ехать, пока не доезжал до конца коридора, разворачивался и ехал обратно. Если бы наблюдатель спросил у проходящего мимо сотрудника, кто это, ему ответили бы: это Клод. Клод Шеннон. Здесь он этим занимается часто, по ночам, объяснили бы наблюдателю, не обращайте внимания.

Клод Шеннон, около 1950 года

А вот в июле и октябре того же года, в Bell System Technical Journal — толстом техническом издании, которое читали электросвязисты в США и Канаде, — вышла статья этого тридцатидвухлетнего жонглёра. Двумя частями. Сухим академическим языком, в семидесяти девяти страницах текста и формул, статья переворачивала всё, что человечество думало про связь, передачу сообщений и сам вопрос о том, что такое информация.

Называлась она «Математическая теория связи».

Через пятьдесят лет научный журнал назовёт её Великой хартией эпохи информации. Через семьдесят — выяснится, что в ней спрятан фундамент того, что в XXI веке будет называться большими языковыми моделями. Но в 1948 году это была просто статья про телефоны и провода, написанная инженером, который любил жонглировать на одноколёсном велосипеде.

Мальчик с телеграфом

Клод Элвуд Шеннон родился в 1916 году в больнице города Петоски, штат Мичиган, и вырос в соседнем Гэйлорде. Его отец был судьёй по делам о наследстве; мать — директрисой школы. Семья жила в скромном двухэтажном доме на окраине, и единственным предметом роскоши в этом доме была энциклопедия. Маленький Клод энциклопедию читал.

В детстве он был тих и сосредоточен. Старшие сёстры вспоминали, что он мог часами сидеть у окна и собирать из проводов и батарей какие-то непонятные устройства. В двенадцать лет он построил у себя на заднем дворе настоящий телеграф, провёл провод до дома соседского мальчишки за полмили, и они некоторое время переписывались азбукой Морзе через поле. У соседского мальчишки эта забава скоро прошла. У Клода — нет.

В семнадцать лет он поступил в Мичиганский университет. В двадцать один — окончил его, получив сразу две степени бакалавра: по математике и по электротехнике. Это редкое сочетание определит всю его дальнейшую жизнь. Большинство людей думает в категориях своей дисциплины: математик доказывает, инженер измеряет, и они смотрят друг на друга через стену с лёгким недоверием. Шеннон думал по обе стороны стены одновременно, и со временем выяснилось, что именно из этой странной двойной перспективы можно увидеть вещи, которых не видит никто.

Поступив в магистратуру MIT, он начал работать в лаборатории Ванневара Буша — того самого Буша, который позже придумает «Мемекс», концептуального предтечу персонального компьютера. Лаборатория занималась дифференциальными анализаторами — гигантскими механическими устройствами, размером с гараж, из шестерёнок и валов, которые умели решать дифференциальные уравнения. Шеннон отвечал за пульт управления: систему электромеханических реле, которые включали и выключали аналитические блоки.

И тут произошло вот что. Шеннон, занимаясь этими реле, заметил, что их поведение — открыт/закрыт, ток идёт/не идёт — можно описать с помощью алгебры, которую за восемьдесят лет до этого придумал английский математик Джордж Буль. Буль развивал свою алгебру как формальное описание законов мышления — открыто/закрыто соответствовало истинно/ложно. Шеннон сообразил, что эта алгебра — буквально, без всякой натяжки — описывает работу электрических переключателей. Из этого следовало: с помощью реле, соединённых правильным образом, можно построить машину, которая будет вычислять любые логические функции. Сколь угодно сложные. Включая арифметические.

Эту догадку Шеннон оформил в магистерскую диссертацию 1937 года, под названием «Символический анализ цепей с реле и переключателями». Ему был двадцать один год. Через несколько лет историки техники назовут эту работу самой важной магистерской диссертацией XX столетия. В ней — в нескольких десятках страниц, написанных аккуратным почерком долговязого юноши из Мичигана, — лежала логическая основа всех будущих компьютеров.

Война и секреты

В 1941 году, в возрасте двадцати пяти лет, защитив докторскую и поработав короткое время в Институте перспективных исследований в Принстоне (где он сталкивался в коридорах с Эйнштейном и Гёделем, и где, по его собственным позднейшим воспоминаниям, очень робел перед ними обоими), Шеннон поступил на работу в Bell Labs. Это был лучший промышленный исследовательский центр Америки — частный, принадлежавший телефонной компании AT&T, но по уровню сравнимый с самыми сильными университетами. Шеннон проработает в нём пятнадцать лет.

Шла война. Шеннона приставили к секретной программе по криптографии: задача была обеспечить безопасную голосовую связь между Рузвельтом в Вашингтоне и Черчиллем в Лондоне. Система называлась SIGSALY, занимала несколько комнат и весила пятьдесят пять тонн. Шеннон был одним из тех, кто доказывал её математическую стойкость.

В 1943 году в Bell Labs приезжал из Англии худой