Искусственный интеллект. Краткая история будущего - Тоби Уолш

1967 год во время разработки системы распознавания речи «Тобермори», четырехслойной сети с 12 000 весов, реализованных с помощью тороидальных магнитных ядер. Тобермори занимала целую комнату, но такое впечатляющее аппаратное обеспечение уже легко уступало по производительности цифровым компьютерам общего назначения того времени. Специализированное аппаратное обеспечение Розенблатта оставило в прошлом закон Мура, экспоненциальные улучшения, положивших начало компьютерной революции.

Фрэнк Розенблатт был потрясающим человеком, круг интересов которого варьировался от астрономии до музыки, альпинизма и политики. Он учился в школе естественных наук в Бронксе, место, которое взрастило больше нобелевских лауреатов, чем какое-либо другое, а также воспитала нескольких победителей премии Тьюринга, включая Марвина Минского. Будучи взрослым, Розенблатт построил обсерваторию на вершине холма недалеко от своего дома, которую он использовал для поиска внеземного разума. К сожалению, в 1971 году, в свой 43-й день рождения, он погиб в результате несчастного случая во время катания на лодке[60]. К этому времени Розенблатт отошел от идеи перцептрона, а его исследования заключались во введении необученным крысам материала, полученного из мозга обученных крыс, чтобы посмотреть, станут ли первые умнее.

ГЛУБОКОЕ ОБУЧЕНИЕ

Мечты Фрэнка Розенблатта не исчезли вместе с публикацией книги Минского и Пейперта. Один из основоположников искусственного интеллекта Джеффри Хинтон продолжил миссию Розенблатта по разработке искусственного мозга. И в самом деле, Хинтон систематически занимался решением проблем, затронутых в книге.

Джеффри Хинтон (полное имя Джеффри Эверест Хинтон) – праправнук Джорджа Буля. Джордж Буль встречался на нашем пути краткой предыстории искусственного интеллекта как изобретатель «алгебры логики», логики нулей и единиц, использующейся в компьютерах сегодня. Второе имя Хинтона происходит от другого родственника, вошедшего в историю, сэра Джорджа Эвереста, главного геодезиста Индии, в честь которого названа гора.

В 2015 году я присутствовал на праздновании двухсотлетия со дня рождения Джорджа Буля в его альма-матер, Королевском колледже Корка (сейчас носит название «Университетский колледж Корка»). Джеффри Хинтон тоже был там, равно как и несколько других наследников Буля. Гены явно дают о себе знать.

На протяжении всей своей карьеры Джеффри Хинтон был индивидуалистом, не боявшимся следовать неординарному и непопулярному, точь-в-точь как его прапрадед за 200 лет до его рождения. В случае Хинтона, начиная с конца 1970-х годов, он в течение нескольких десятилетий упорно занимался разработкой нейросетей, несмотря на то что эта область была глубоко не в духе времени и невзирая на сильное сопротивление научного сообщества.

Как выпускнику Кембриджского университета, Хинтону было сложно найти интеллектуальное пристанище. Он пробовал себя в разных областях, изучал естественные науки, историю искусств, а затем и философию до того, как в конце концов осел в области экспериментальной психологии. Он продолжил обучение в аспирантуре на факультете искусственного интеллекта Эдинбургского университета, который в то время был единственным в мире. В 1977 году он получил степень PhD в области компьютерного зрения[61].

Илл. 16. Джордж Буль (слева) и его праправнук Джеффри Хинтон

Хинтону не удалось получить финансирование на свои непопулярные идеи об искусственном интеллекте в Великобритании, поэтому сначала он переехал в Соединенные Штаты, где недолгое время работал в Университете Калифорнии в Сан-Диего и университете Карнеги-Меллона, а затем перебрался в Канаду и начал свою деятельность в университете Торонто. Там он получил поддержку от малоизвестного, но дальновидного финансового агентства, Канадского института перспективных исследований (CIFAR).

Первое затруднение, поразившее идею перцептрона, как мы уже увидели, заключалось в их неспособности обучиться даже простой концепции «четное или нечетное». Хинтон быстро продемонстрировал, что дополнительный (его часто называют «скрытый») слой нейронов позволит нейросети обучиться не только «четному и нечетному», но и другим, более сложным функциям. Однако Хинтон не остановился только лишь на одном дополнительном слое, он популяризировал идею «глубокого обучения», используя нейросети с множеством слоев.

Следующая трудность, которую Хинтону необходимо было разрешить, была скорость самого обучения. В 1986 году Хинтон вместе с Дэвидом Румельхартом[62] и Рональдом Дж. Уильямсом написал знаковую работу, продвигающую гораздо более быстрый способ обучения для обновления весов в нейронных сетях. Такой способ назывался «методом обратного распространения ошибки» (backpropagation) и был создан целой командой специалистов. Сам термин был введен Розенблаттом в 1962 году, но он и понятия не имел, как применить его. Стоит также отдать дань уважения и Полу Вербосу, который в 1982 году предложил тренировать нейронные сети методом обратного распространения ошибки, но в 1970 году его опередил Сеппо Линнайнмаа[63]. Следует упомянуть и других ученых, включая Артура Эрла Брайсона (1961), Генри Дж. Келли (1960) и Льва Понтрягина[64] (конец 1950-х). По сути, метод обратного распространения ошибки – это применение цепного правила для дифференцирования, которое многие из нас изучали в школе и которое в 1673 году изобрел Готфрид Лейбниц, другая выдающаяся личность из предыстории искусственного интеллекта.

Обратное распространение ошибки – разумный путь обновить веса в нейронных сетях. Он вычисляет градиент – скорость, с которой выходные данные изменяются по мере изменения входных данных. И точно так же, как и вы можете быстрее взойти на гору, следуя по самому крутому склону, обратное распространение следует градиенту, чтобы быстрее найти наилучший вес. Обратное распространение ошибки означало, что веса в глубокой многослойной нейросети могут обучаться быстрее. Но расчеты для этого все равно были довольно обременительными.

Открытие, случайно сделанное в 2012 году одним из аспирантов Хинтона Алексеем Крижевским, позволило выполнять метод обратного распространения ошибки более эффективно. Алексей понял, что графические процессоры, используемые для рендеринга видео в 3D формате для компьютерных игр, идеально подходили для выполнения умножения матриц, необходимых для вычисления градиентов и выполнения обратного распространения ошибки. Это означало, что теперь Хинтон мог эффективно тренировать очень глубокие нейронные сети.

Открытие быстро увеличило рыночную капитализацию корпорации NVIDIA, занимающую 80% рынка графических процессоров, более чем на триллион долларов США. Без сомнения, они являются одной из самых удачливых компаний в истории. Невзначай они нашли свое призвание, продавая лопаты во время золотой лихорадки.

РЕЦЕПТ ОБУЧЕНИЯ

Джеффри Хинтон описал метод обратного распространения ошибки как лучший для нейросетей алгоритм обучения. Благодаря графическим процессорам он обладал более эффективными мощностями для выполнения обратного распространения. Наличие этих двух компонентов означало, что теперь нейронные сети могут быть намного глубже. Рецепт глубокого обучения был почти готов: метод обратного распространения ошибки в глубоких нейросетях и использование графических процессоров для тяжелых вычислений. Хинтону был необходим третий и заключительный элемент для того, чтобы глубокое обучение хорошо работало. Третьим компонентом были обучающие данные. Много данных. Такие методы машинного обучения, как глубокое обучение, требуют огромного количества обучающих данных. В идеальном случае сотни тысяч или даже миллионов примеров.