Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Некогда люди одомашнили пшеницу и ячмень. Спустя ничтожный с эволюционной точки зрения миг они начали строить цивилизации. Мир уже не был прежним.

Некогда – в 1930-е годы – появились тревожные признаки того, что над некоторыми семьями в Германии нависла опасность. Немногие уехали заблаговременно, большинство осталось. Затем нацистское правительство лишило их гражданства и паспортов, сильно затруднив отъезд. Через несколько лет немецких евреев, цыган и других людей начали хватать и отправлять в лагеря смерти. Воспоминания выживших свидетельствуют, что многие семьи остались не потому, что не видели тревожных знаков, а потому, что верили: жизнь вернется к норме прежде, чем все зайдет слишком далеко1.

Некогда человечество стояло на пороге создания искусственного сверхинтеллекта…

Нормальность всегда заканчивается. Это не значит, что ей на смену неизбежно придет что-то худшее. Иногда – да, иногда – нет, и порой это зависит от наших действий. Однако надежды, что ничто слишком плохое просто не может случиться, как правило, не помогают.

Люди обладают способностью управлять будущим с помощью своего интеллекта. Но эта способность работает, только если мы ее используем – если делаем то, что должны, тогда, когда это нужно. В противном случае интеллект не имеет силы. Он или работает, изменяя наши действия, или не работает вовсе.

Грядущие годы станут для всего человечества испытанием не на жизнь, а на смерть. Своей книгой мы надеемся вдохновить отдельных людей и целые страны достойно ответить на этот вызов.

В следующих главах мы изложим научные основания нашего беспокойства, обсудим порочные стимулы, движущие современной индустрией ИИ, и объясним, почему ситуация еще плачевнее, чем кажется. Мы в доступной форме покажем недостатки современного машинного обучения и объясним, почему нынешние методы ведут к созданию искусственного интеллекта, уничтожающего мир, а не улучшающего его.

В части I мы излагаем суть проблемы, отвечая на ряд вопросов. Что такое интеллект? Как создают современные ИИ-модели и почему их так трудно понять? Могут ли они иметь желания? Появятся ли эти желания? Если да, то чего ИИ-модели захотят и почему они захотят нас убить? Как они нас убьют? В итоге мы прогнозируем появление ИИ-моделей, не испытывающих к нам ненависти, но обладающих странными и чуждыми предпочтениями, следовать которым они будут до вымирания человечества.

В части II мы собираем воедино все эти аспекты и рассказываем историю о модели ИИ, которая уничтожает мир, очень похожий на наш. Эта история – не предсказание, поскольку точный путь, по которому пойдет будущее, спрогнозировать сложно. Единственная часть этой истории, которая служит предсказанием, – ее финал, и это предсказание сбудется, если мы позволим подобной истории начаться.

В части III мы оцениваем сложность вызова, стоящего перед человечеством, и рассматриваем принимаемые сейчас меры. Насколько хорошо компании, занимающиеся ИИ, справляются с этой проблемой? Почему мир уделяет проблеме так мало внимания? Что наше общество может сделать по-другому, если достаточное количество людей решит не умирать? Что потребуется, чтобы Земля не создала машинный сверхинтеллект?

На сайте IfAnyoneBuildsIt.com подготовлено онлайн-дополнение к этой книге. В конце каждой главы вы найдете URL-адрес дополнительных материалов к ней. Это выглядит так:

IfAnyoneBuildsIt.com/intro

У людей есть самые разные, зачастую противоположные представления об искусственном интеллекте, и за эти годы мы услышали множество вопросов и возражений, проистекающих из широкого спектра предположений и точек зрения. В дополнительные материалы мы включили оговорки, тонкости и часто задаваемые вопросы, а также основные теоретические положения и развернутые аргументы, которые сделали бы эту книгу в несколько раз толще и гораздо менее доступной для понимания. Если после прочтения какой-либо главы у вас возникнут возражения, мы призываем вас перейти к онлайн-материалам.

Многие главы начинаются с притч – историй, которые, мы надеемся, помогут донести определенные мысли в более простой форме. А еще они привносят немного несерьезности в эту тяжелую тему. Тут мы следуем очень старой традиции – возможно, более древней, чем человеческий вид в его нынешней форме, – традиции смеяться в лицо смерти.

Признаться, в этой книге мало хороших новостей. Но мы и не утверждаем, что вы обречены. Искусственного сверхинтеллекта пока не существует. Человечество все еще может принять решение не создавать его.

В 1950-х годах многие ожидали, что между ведущими мировыми державами начнется ядерная война. С учетом предыдущей истории человеческих конфликтов причин для пессимизма хватало. Тем не менее ядерной войны до сих пор не случилось. И не потому, что ядерные бомбы оказались чистой научной фантастикой и не воплотились в реальность, а потому, что люди целенаправленно выстраивали устойчивые системы, призванные не допускать ядерных войн. Человечество пошло на это, поскольку мировые лидеры понимали: в случае ядерной войны плохо придется и им самим, и народам их стран.

Плохо придется им и в том случае, если кто-либо где-либо на планете создаст машинный сверхинтеллект. Никому не хочется умирать вместе со своей семьей и друзьями, со своей страной и ее детьми.

Остановить продолжающуюся эскалацию ИИ-технологий, взять под контроль аппаратное обеспечение, используемое для создания все более мощных моделей искусственного интеллекта, – непростая задача для современного мира. Но чтобы остановить дальнейшее наращивание возможностей ИИ, потребуется гораздо меньше усилий, чем, скажем, для победы во Второй мировой войне. Для пробуждения воли к жизни достаточно, чтобы некоторые страны, их руководители и избиратели, осознали, что люди стоят у края пропасти – возможно, на ничтожном расстоянии, пусть даже его трудно оценить.

Задача не из легких, но мы еще не погибли. Достоинство человека и достоинство всего человечества обязывают нас бороться.

Пока есть жизнь, есть и надежда.

Часть I

Нечеловеческий разум

Глава 1

Особая сила человечества

Представьте себе, – хотя, конечно, ничего подобного никогда не происходило, ибо это всего лишь притча, – что биологическая жизнь на Земле стала результатом игры богов. Что был бог-тигр, создавший тигров, бог-секвойя, создавший секвойи, и боги разных видов рыб и бактерий. Вообразите, что боги-игроки соперничали друг с другом, добиваясь доминирования своих видов, пока эти формы жизни пресмыкались внизу.

Представьте, что примерно два миллиона лет назад некий непримечательный бог-гоминид окинул взглядом огромное – во всю планету – игровое поле.

– Мне понадобится еще несколько ходов, – сказал он, – но, думаю, результат игры предрешен.

Воцарилось недоуменное молчание: боги в замешательстве разглядывали игровое поле, пытаясь понять, что они упустили.

Бог-скорпион спросил:

– Как это? У твоих гоминидов нет ни брони, ни когтей, ни яда.

– У