Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл

виды задач27. Во время моего визита в Корнелл в 1964 году профессор Фрэнк Розенблатт показал мне код однослойной нейросети под названием «Перцептрон». Она умела распознавать печатные буквы. Я поработал с ней, пробуя немного видоизменять входной сигнал. Программа демонстрировала автоассоциативность, то есть могла узнать частично прикрытую букву, однако инвариантность к преобразованию достигнута не была: при изменении начертания или размера букв нейросеть переставала их узнавать.

В 1969 году Марвин Минский не разделял энтузиазма по поводу нейронных сетей, несмотря на рост интереса к этой области и то, что он сам был в числе первых исследователей этого феномена еще в 1953-м. Вместе с Сеймуром Пейпертом они основали Лабораторию искусственного интеллекта в МТИ. В своей книге «Перцептроны» они показали, почему сеть, подобная перцептрону, была принципиально неспособна определить, является ли представленный ей рисунок связным. На обложке книги были представлены два рисунка (они приведены ниже). На верхнем рисунке черные линии не образуют единую неразрывную фигуру, в отличие от нижнего. Человек способен различить их, если присмотрится, как и простая компьютерная программа. Перцептрон, такой как «Марк 1», построенный Розенблаттом, не может достоверно это определить, поскольку представляет собой нейронную сеть с прямой связью – это значит, что соединения между нейронами в ней не образуют циклов.

Проще говоря, перцептроны с прямой связью не справляются с этой задачей, потому что для ее решения необходимо применить вычислительную функцию XOR (так называемое «исключающее или»). Именно она помогает распознать случай, когда отрезок является частью одной непрерывной фигуры, но не принадлежит при этом к другой. Один слой нейронов без обратной связи не в состоянии реализовать функцию XOR, потому что вынужден классифицировать все элементы за один проход, пользуясь линейным законом (например, если оба нейрона сработали, то ответ положительный), а XOR непременно должна содержать возвратный шаг («если один из этих нейронов сработал, но не оба одновременно, тогда ответ положительный»).

После того как Минский и Пейперт опубликовали свои результаты, финансирование исследований нейросетей почти прекратилось на несколько десятилетий. При том, что как мне объяснил Розенблатт еще в 1964 году, проблемы перцептрона в части инвариантности по отношению к входным данным происходили просто от недостаточного количества слоев. По его словам, если взять результат работы перцептрона и подать на вход еще одной нейросети такой же структуры, ее выводы будут более обобщенными. Повторив этот шаг достаточное количество раз, можно добиться инвариантности. Стоит создать нейросеть с достаточным количеством слоев и обзавестись большой обучающей выборкой, и та сможет решать невероятно сложные задачи. Я поинтересовался у Розенблатта, пробовал ли он свой подход на практике, и он сказал, что пока нет, но это одна из его приоритетных задач. Задумка была превосходной, но, к сожалению, Розенблатт скончался всего семь лет спустя, в 1971 году, так и не успев воплотить свои идеи. Пройдет еще 10 лет, прежде чем многослойные нейросети начнут активно использоваться, и даже в то время они требовали настолько больших вычислительных мощностей и объемов данных для обучения, что были непригодны для практического применения. Впечатляющий прогресс ИИ в последние годы случился как раз благодаря многослойным нейросетям – через 50 лет после того, как Розенблатт выдвинул идею их использования.

Таким образом, коннекционистский подход к ИИ не получал должного внимания вплоть до середины 2010-х годов, когда современные технологии наконец-то позволили реализовать его потенциал благодаря доступности вычислительных мощностей и больших объемов данных. За время, прошедшее с момента публикации «Перцептронов» в 1969 году и до смерти Минского в 2016-м соотношение цена / производительность вычислительной техники (с учетом инфляции) улучшилось в 2,8 миллиарда раз28. Это коренным образом изменило представление о том, какие методы можно применять на практике в области искусственного интеллекта. В разговоре со мной незадолго до своей смерти Минский выразил сожаление, что «Перцептроны» оказали такое влияние на состояние дел в области ИИ, ведь с тех пор именно нейросетевой подход позволил нам достичь невероятных успехов.

Таким образом, коннекционизм можно сравнить с изобретениями наподобие летающей машины Леонардо да Винчи – прекрасная идея, воплотить которую было невозможно до создания новых легких и прочных материалов29. Как только электроника наверстала отставание от теории, стало возможным использование нейросетей глубиной в сотни слоев. В результате оказались решены многие задачи, к которым прежде было не подступиться. Именно эта парадигма лежит в основе многих впечатляющих достижений последних нескольких лет.

Мозжечок и его модульная структура

Чтобы разобраться в том, как связаны друг с другом компьютерные нейросети и интеллект человека, предлагаю сделать небольшое отступление и вернуться к моменту зарождения Вселенной. Поначалу процесс перехода материи к более организованным формам шел очень медленно, поскольку не было разума, который мог бы им управлять. (В разделе главы 3 под названием «Ваше существование – редчайшая удача» мы обсудим, насколько в принципе маловероятным было появление Вселенной, в которой может существовать информация.) На то, чтобы образовались новые структуры, ушли сотни миллионов, а то и миллиарды лет30.

По крайней мере, не меньше нескольких миллиардов лет понадобилось на то, чтобы появилась молекула, способная хранить закодированные инструкции по созданию живого организма. Есть некоторые разногласия относительно времени появления жизни на Земле, однако большинство ученых сходятся во мнении, что это произошло от 3,5 до 4 миллиардов лет назад31. Возраст Вселенной оценивается в 13,8 миллиарда лет (точнее сказать, столько времени прошло с момента Большого взрыва), а наша планета образовалась 4,5 миллиарда лет назад32. Таким образом, между формированием первых атомов и появлением (по крайней мере здесь, на Земле) первых молекул, способных самовоспроизводиться, прошло около 10 миллиардов лет. Такая задержка отчасти может объясняться случайностью этого процесса – мы не знаем, насколько маловероятным было столкновение нужных молекул в «первичном бульоне» на Земле. Возможно, жизнь могла зародиться немного раньше, а скорее всего, значительно позже, чем это произошло в действительности. В любом случае, прежде чем появилась такая возможность, многие звезды должны были завершить свой жизненный цикл, превратив водород в более тяжелые элементы, из которых и состоят живые организмы.

По оценкам ученых, с момента зарождения жизни на Земле до возникновения первых многоклеточных организмов прошло примерно 2,9 миллиарда лет33. Еще 500 миллионов лет понадобилось, чтобы животные вышли на сушу, а затем 200 миллионов – для появления первых млекопитающих34. Что касается эволюции мозга, промежуток времени от появления первых примитивных нервных путей до возникновения подобия централизованного трехчастного мозга составил около 100 миллионов лет35. Простые варианты новой