Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

умнее человека в определенных сферах. В 1997 году суперкомпьютер Deep Blue, созданный компанией IBM, впервые обыграл чемпиона мира по шахматам. Deep Blue был весьма искусен в прогнозировании и управлении, когда дело касалось шахмат. Но он не сумел бы спрогнозировать, как попасть в продуктовый магазин и купить молоко, не говоря уже о том, чтобы добраться туда на автомобиле. Человеческий разум может быть более или менее сведущим в различных областях прогнозирования и управления.

Современные модели ИИ гораздо более универсальны в своих способностях. Вы можете спросить модель OpenAI под названием “o1”, какой окажется температура Земли, если излучение Солнца сместится в инфракрасный диапазон, и она найдет ответ, проведя физические расчеты. Затем вы можете спросить, сумеет ли человечество выращивать пищу в этом новом мире, и она ответит, опираясь на свои знания по биологии растений. Модель o1 не переключается “под капотом” между двумя разными базами данных, она просто знает и физику, и биологию.

Модель o1 знает, что снаружи существует целый мир, и способна рассуждать о нем. Компьютер Deep Blue об этом понятия не имел. На то, чтобы искусственный интеллект достиг такого уровня, ушли десятилетия.

И все же способность o1 к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов. Люди по-прежнему на высоте, когда речь идет о технологиях и науке; серьезные прорывы совершают исследователи-люди, а не ИИ-модели (пока). Более того, по-прежнему кажется – по крайней мере, авторам этой книги, – что модель o1 по уровню разумности уступает даже тем людям, которые не совершают великих научных открытий. Все труднее четко сформулировать, чего же именно ей не хватает, но все же нас не покидает ощущение, что o1 в каком-то важном смысле “поверхностна” по сравнению с двенадцатилетним ребенком[7], пусть даже она знает и помнит больше, чем любой человек.

Но так будет не всегда. Трудно предсказать, как быстро будет развиваться ИИ и по какому именно пути он пойдет, однако конечный результат предсказать легко, поскольку технологически машины обладают массой преимуществ перед биологическим мозгом. Вот некоторые из них.

Колоссальная скорость. Транзисторы (базовые кирпичики всех компьютеров) могут включаться и выключаться миллиарды раз в секунду, тогда как даже очень быстрые нейроны срабатывают всего сто раз за секунду. Это означает, что, даже если бы для выполнения работы одного нейронного импульса требовалась тысяча операций транзисторов и даже если бы искусственный интеллект был ограничен современным аппаратным обеспечением, мышление человеческого уровня можно было бы смоделировать на машине в десять тысяч раз более быстрым, не говоря уже о том, как мог бы работать ИИ с усовершенствованными алгоритмами и улучшенным оборудованием. Разуму, прогнозирующему и управляющему миром как минимум в десять тысяч раз быстрее любого человека, люди покажутся не более чем статуями, настолько медлительными, что произносят по слову в час2.

Возможность копирования. В современном мире требуется двадцать лет, а то и больше, чтобы вырастить одного нового человека и передать ему крохотную долю всех человеческих знаний. Но все равно мы не можем в полном объеме передавать успешные навыки мышления от одного человеческого разума другому – гений Альберта Эйнштейна умер вместе с ним. Искусственный интеллект в итоге будет существовать в ином мире, где гениальность можно будет воспроизводить по требованию.

Более быстрое совершенствование. Увеличение размера человеческого мозга сталкивается с естественным ограничением: большие головы младенцев не могут пройти через женский таз3. Совершенствование графических процессоров (специализированных компьютерных чипов, обеспечивающих высокую эффективность современных ИИ-моделей) и работающих на них алгоритмов происходит намного, намного, намного быстрее, чем человеческий вид способен эволюционировать в сторону расширения таза.

Больший объем памяти. Человеческий мозг насчитывает около ста миллиардов нейронов и ста триллионов синапсов (мест контакта между нейронами). По объему хранилища это превосходит большинство ноутбуков. Однако на момент написания этой книги дата-центр может хранить четыреста квадриллионов байт, доступных с задержкой не более пяти миллисекунд, что в тысячу с лишним раз превышает объем памяти человеческого мозга. Кроме того, современные модели ИИ обучаются на значительной части всей совокупности человеческих знаний и удерживают в памяти существенную их долю – такое достижение не под силу ни одному человеку.

Мышление более высокого качества. Когда дело касается мышления, качество бьет количество. Человек-шахматист обыграет любое число обученных обезьян, играющих совместно. Однако человеческий мозг – это вовсе не вершина качества мышления. Существует множество документально засвидетельствованных случаев, когда человеческий разум попадает в ловушки систематических ошибок. (Например, предвзятость подтверждения: склонность искать аргументы против тезисов, которые вам не нравятся, а не против тех, что нравятся. Представьте себе модель ИИ, лишенную этого недостатка.) И хотя в нашем мозгу сто миллиардов нейронов, большинство людей с трудом перемножают в уме трехзначные числа, а это значит, что мы используем свои нейроны совсем не так эффективно, как могли бы. Как человеческие нейроны вряд ли представляют собой предел возможной скорости вычислений, так и человеческие модели мышления вряд ли представляют собой предельные возможности интеллектуальных алгоритмов.

Возможность экспериментировать над собой и переписывать себя. Модели ИИ смогут создавать копии самих себя, проводить над ними эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. Им гораздо проще подключить к себе новые вычислительные модули, нежели людям – подключить компьютеры к биологическим нейронам. ИИ-модели смогут конструировать немного отличающиеся версии самих себя, чтобы проверять, какие варианты будут работать лучше. ИИ сможет совершенствоваться гораздо быстрее, чем люди.

Разумы, мыслящие со сверхчеловеческим качеством и со скоростью, в десять тысяч раз превышающей нашу, не стареющие и не умирающие, создающие копии своих самых успешных вариантов, отточенные миллиардами испытаний до нечеловеческих способов мышления, работающие без устали, умеющие обобщать точнее на основании меньшего количества данных и способные направить всю эту мощь интеллекта на анализ, понимание и в конечном счете на самосовершенствование, – такие разумы превзошли бы наши.

Гипотетический машинный интеллект, которому удастся превзойти человеческие возможности во всех практически важных областях нашей деятельности, называли по-разному. Мы будем использовать термин “сверхинтеллект” (superintelligence), подразумевая разум, который намного способнее человеческого в решении почти любого типа задач управления и прогнозирования, по крайней мере тех задач, где возможно существенное улучшение по сравнению с человеческими показателями[8].

Известные нам законы физики теоретически позволяют машинам обогнать биологический мозг в прогнозировании и управлении. На практике искусственный интеллект еще не достиг этого уровня, но сколько времени пройдет, прежде чем он реализует все перечисленные нами преимущества?

Мы не знаем. Пути предсказать труднее,