Токен за токеном - SeNS Boston

А впереди был ещё один длинный, тёмный коридор. Дисциплина, которая в 1948 году только зарождалась, тридцать с лишним лет проведёт во мраке, пробуя свои силы то на n-граммах, то на скрытых марковских моделях, то на перцептронах, то на экспертных системах, — и почти каждый раз будет терпеть поражение от собственных ожиданий. Идеи Шеннона лежали наготове. Просто никто ещё не знал, что нужно сделать с ними, чтобы они заработали по-настоящему.

За поворотом ждала зима.

Глава 2

Долгая зима

Каждый раз, когда я увольняю лингвиста, точность распознавания речи растёт.

Фредерик Елинек (приписываемая фраза, IBM Research, 1980-е)

История науки знает много примеров, когда хорошая идея появлялась слишком рано и десятилетиями ждала, пока созреют условия для её осуществления. Шенноновские наброски статистических языковых моделей — один из таких случаев. К моменту их публикации не существовало ни компьютеров достаточной мощности, чтобы посчитать вероятности по большому массиву текстов, ни самих больших массивов, ни инженерных задач, требовавших такого моделирования. Идея лежала в журнале, журнал стоял на полке, полка пылилась.

Чтобы она ожила, требовалась смежная история, на первый взгляд не имеющая отношения к лингвистике. История о том, как машина учится сама.

Розенблатт и его машина

Фрэнк Розенблатт, конец 1950-х

В 1957 году в Корнеллской аэронавтической лаборатории, в городе Буффало, штат Нью-Йорк, работал молодой психолог по имени Фрэнк Розенблатт. Ему было двадцать девять лет. Он закончил Корнеллский университет, написал диссертацию по теории восприятия и пришёл в лабораторию заниматься тем, что тогда называлось «электронные модели мозга». В отличие от Шеннона, Розенблатт интересовался не математической абстракцией информации, а живой биологией: как именно нейроны в человеческом мозге переплетаются между собой, и можно ли в принципе построить машину, которая работала бы по тому же принципу.

Идея, которую он развивал, выглядела так. Возьмём несколько искусственных «нейронов», каждый из которых принимает на вход несколько сигналов, складывает их с весовыми коэффициентами и выдаёт на выходе либо ноль, либо единицу в зависимости от того, превысила ли сумма некоторое пороговое значение. Соединим эти нейроны в сеть. Подадим на вход сети, например, картинку с буквой. На выходе получим, скажем, номер этой буквы в алфавите. Если на выходе оказалось не то, что нужно, изменим веса связей чуть-чуть, в направлении, которое уменьшает ошибку. Повторим много раз. Через какое-то количество повторений сеть сама подберёт такие веса, что будет правильно различать буквы.

Розенблатт назвал эту конструкцию перцептроном. И, в отличие от большинства учёных того времени, он не ограничился теоретической статьёй. Он построил машину.

Mark I Perceptron, как её окрестили, занимала большую часть комнаты. Это был ящик размером с холодильник, набитый электрическими цепями, и подключённая к нему камера на четыреста фотоэлементов, расположенных в виде матрицы двадцать на двадцать. Машина действительно умела учиться распознавать простые формы: квадраты, треугольники, отдельные буквы. Правда, медленно. Правда, ненадёжно. Но она работала.

Перцептрон Розенблатта: схема

В июле 1958 года Розенблатт пригласил журналистов. В газете New York Times появилась заметка с заголовком, который потом сорок лет будет преследовать всю область как анекдот. В ней говорилось, что военно-морской флот США представил публике «зародыш электронного компьютера», который, как ожидается, в скором времени сможет ходить, говорить, видеть, писать, размножаться и сознавать собственное существование. Розенблатт лично давал журналистам интервью и говорил, в общем, ровно это. Только не в духе «обещаю», а в духе «в принципе возможно». Журналисты эту оговорку, разумеется, опустили.

Так в одной газетной заметке родились две вещи. Первая: общественные ожидания от искусственного интеллекта, которые с тех пор будут раскачиваться циклами в течение шестидесяти с лишним лет, от безудержного оптимизма до глубокого разочарования. Вторая: репутация Розенблатта как блестящего, но безответственного фантазёра.

Двое из Бронкса

Марвин Минский, 2008

Сеймур Паперт с роботом-черепашкой

В нескольких сотнях миль от Буффало, в Бостоне, в Массачусетском технологическом институте, работал другой молодой исследователь искусственного интеллекта. Его звали Марвин Минский. Минскому в 1958 году был тридцать один год. Он закончил Принстон, защитился в Гарварде, перешёл в MIT, и через год собирался основать вместе с Джоном Маккарти лабораторию искусственного интеллекта, которая вскоре станет одним из главных центров отрасли в мире.

В судьбе двух главных героев следующей сцены была одна симпатичная подробность. Розенблатт и Минский учились в одной школе. Старшая школа естественных наук в Бронксе, нью-йоркская специализированная школа для одарённых детей, выпустит за свою историю девять нобелевских лауреатов и поразительное количество людей, определяющих научный пейзаж двадцатого века. Оба исследователя были её выпускниками, разделёнными несколькими годами. Они знали друг друга лично с подросткового возраста.

Минский, в отличие от Розенблатта, относился к идее обучающихся машин со сдержанным скепсисом. Его симпатии лежали в другом направлении: к символьному искусственному интеллекту, к программам, оперирующим явными правилами, к экспертным системам, к логике. Перцептроны казались ему интересной игрушкой, но не более того. Машина, обучающаяся на примерах, представлялась ему слабым подходом по сравнению с машиной, в которую инженер закладывает явное знание о мире.

Конкуренция за деньги тоже играла роль. В конце пятидесятых и в шестидесятые годы Агентство передовых исследовательских проектов министерства обороны США, известное как ARPA (позже DARPA), щедро финансировало любые работы, связанные со словами «искусственный интеллект». Деньги распределялись через программных директоров. Те, в свою очередь, прислушивались к мнению ведущих учёных. Минский и Розенблатт были, по сути, конкурентами за один и тот же бюджет, и оба это понимали.

В 1969 году Минский и его коллега Сеймур Паперт выпустили книгу под названием «Перцептроны». На обложке был круг с надписью внутри. Книга была написана академически безупречно, в духе строгой математической монографии, и содержала несколько важных результатов о том, чего перцептрон в принципе делать не может.

Главный из них касался задачи под названием XOR, «исключающее или». Имея два бинарных входа, выдать единицу, если входы разные, и ноль, если одинаковые. Задача кажется детской, и для человека таковой и является. Так вот, Минский и Паперт строго доказали: однослойный перцептрон, такой, какой строил Розенблатт, эту задачу решить не может. Никогда. Принципиально. Какие веса в нём ни меняй.

В принципе из этой теоремы не следовало, что обучающиеся нейронные сети безнадёжны.