Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Искусственный сверхинтеллект подобен проблеме кибербезопасности в том смысле, что может обойти все ограничения, какие бы инженер ни попытался встроить в систему, если эти ограничения ему мешают.

Подобная совокупность проблем ужасала бы, даже если бы мы знали законы интеллекта, даже если бы понимали, как, черт возьми, работают эти ИИ-модели, даже если бы точно знали, где пролегает разрыв между “до” и “после” и каков допустимый предел ошибки.

Но мы этого не знаем. ИИ-модели выращивают, а не конструируют. Никто не ведает, какие чудовищные сложности таятся внутри них, наделяя интеллектуальной мощью.

Делать ставку на то, что человечество сумеет решить эту проблему при нынешнем уровне понимания, – все равно что считать, будто алхимики 1100 года смогли бы построить ядерный реактор. Работающий в глубоком космосе. С первой попытки.

Обычно мы стараемся не переходить на крик. В большинстве случаев криком делу не поможешь. У людей просто создается впечатление, что вы не умеете держать себя в руках. Но мы убеждены: в какой-то момент после спокойного изложения своих доводов уже нельзя умалять серьезность проблемы, иначе остальные подумают, что это всего лишь игра в вежливые формулировки.

В вопросе создания сверхинтеллекта проблема, стоящая перед человечеством, неподъемна для нас при нынешнем уровне знаний и умений. До требуемого уровня мы даже близко не дотягиваем.

Попытка справиться с подобной задачей, когда на кону стоят жизни всех людей на Земле, – безумная и глупая авантюра, и нельзя позволить, чтобы кто-нибудь предпринял ее.

IfAnyoneBuildsIt.com/10

Глава 11

Алхимия, а не наука

Давным-давно, во времена, которых никогда не было, стоял средневековый город, гордившийся мастерством своих алхимиков.

В этом вымышленном городе, как и в реальной истории, задача алхимика сводилась к тому, чтобы узнать, какие сочетания веществ и температур дадут те или иные видимые результаты. Алхимики города собрали множество рецептов, но совершенно не понимали принципов, лежащих в их основе. Они пробовали новые смеси, не умея толком предсказать итог своих экспериментов, а затем добавляли полученные результаты к своим сводам знаний.

Алхимики нашего воображаемого города поразились бы, если бы вы сказали им, что в каком-то глубоком смысле они все равно невежественны. Разве не потратили они долгие часы, изучая, как изготавливать жидкость Aqua Regia[44], способную растворять даже благородные металлы – золото и серебро? Разве они не великие мастера совершенно безопасных процессов, позволяющих им работать с Aqua Regia, не рискуя жизнью? Разве их догадки насчет новых рецептов не приносят порой полезные результаты? Невежественны? Невежественны в чем, скажите на милость?

Однажды из столицы пришла весть: король ищет алхимика, способного превратить свинец в золото, и щедро отплатит такому человеку. Любому алхимику, желающему получить королевскую награду, нужно только принести собственные реактивы и доказать, что он способен сделать Aqua Regia.

Награда была великолепна: тот, кто добьется успеха, получит руку принцессы, и король дарует победителю столько денег, что хватит не только ему, но и всем жителям его родного города – сколько им не снилось в самых смелых мечтах.

Но король, опасаясь пустословов, объявил: если алхимик потерпит неудачу, зря потратив королевские время и деньги, то казнят не только его, но и всех жителей его родного города. Вот такой это был король.

– Что ж, именно золота у меня еще не получалось, – сказал один молодой алхимик, – но чувствую, что разгадка близко. Если нагреть свинец с каламином[45], он становится похож на латунь. Наверное, для успеха мне нужно добавить еще немного каламина или еще сильнее нагреть смесь. Я собираюсь попытать счастья!

– Пожалуйста, не надо, – попросила его сестра.

– Я должен, – сказал юноша, поспешно бросая в мешок одежду и записи. – В нашем городе полно алхимиков, и если не попробую я, то кто-то другой опередит меня и заберет и принцессу, и деньги. А другие хуже меня разбираются в алхимии и к тому же более эгоистичны. Именно я должен пройти это испытание – ради блага моего города!

– Я не хочу умирать, – сказала сестра. – И не хочу, чтобы умерла наша соседка-прачка. Она всегда была добра ко мне и души не чает в своем ребенке.

– Тогда ты должна поддержать меня, – ответил юноша, старательно упаковывая свой скромный запас алхимических реактивов, половина которых досталась ему от покойного учителя. – С королевской наградой мы могли бы сделать много добра. У нас было бы вдоволь еды, и мы никогда бы не голодали. Мы могли бы нанять лучших врачей королевства для лечения всех недугов жителей нашего города.

– Это было бы чудесно, – заметила сестра, – но ты ведь не умеешь превращать свинец в золото. Мы не получим королевскую награду, мы просто умрем.

– Мне кажется, у меня получится. Когда я кипячу свинец в отстоявшейся моче с серой, он приобретает желтоватый блеск. У меня лучшие шансы на успех. Если не пойду я, какой-нибудь дурак погубит нас всех.

– Может, тебе стоит пойти к городским старейшинам и попросить их не выпускать из города ни одного алхимика, иначе мы все умрем? – предложила сестра. – Если старейшины ничего не сделают, ты сможешь собраться и поехать в столицу, но умоляй их остановить всех алхимиков, включая тебя.

Юноша на миг задумался, а потом ответил:

– Что? Ты вообще в одном городе со мной живешь? Наши старейшины почти никогда не могут ни о чем договориться! Да и невозможно запретить всем алхимикам покидать город, пока предложение короля в силе. Подумай, какие это неудобства, какие расходы! Я действительно думаю, что наш наилучший шанс – если я просто отправлюсь сам.

– Ты потерпишь неудачу! – отчаянно воскликнула сестра. – Вы все потерпите неудачу! В этом состязании один победитель – Смерть! Ты должен пойти к старейшинам и объяснить им, что нужно запретить всем алхимикам ехать в столицу, а ингредиенты для изготовления Aqua Regia держать под замком! Нельзя обрекать на гибель целый город, взрастивший одного-единственного эгоистичного алхимика, который способен сделать Aqua Regia, но не умеет превращать свинец в золото! С несправедливостью королевского испытания мы ничего поделать не можем, но мы должны сделать все возможное, чтобы держаться от него подальше, иначе мы умрем!

– Но почему ты так уверена, что никто из нас не сможет превратить свинец в золото? – спросил юноша. – Я не знаю ни одного закона алхимии, который говорил бы, что у меня не получится.

В предыдущей главе мы рассмотрели некоторые сложности с созданием машинного сверхинтеллекта, который бы нас не уничтожил.

Однако уровень сложности – это лишь половина дела. Другая половина касается того уровня