Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

веществами того времени, и предположил, что в будущем появится взрывчатка в десять раз мощнее. И в каком-то смысле это правда. Но все же утверждение “Взрывчатка может стать по крайней мере в десять раз мощнее” бесконечно далеко от предсказания ядерного оружия.

Позднее мы обсудим некоторые из наших обоснованных предположений. Но в действительности сверхинтеллект выиграет конфликт, прибегнув к неизвестным нам методам. А поскольку мы заботимся об истине больше, чем о том, чтобы говорить вам приятные вещи, начнем мы именно с этого.

Представьте, что вы отправили на тысячу лет назад проект холодильника – упрощенный, какой смогли бы реализовать тогдашние кузнецы.

Основной физический принцип, лежащий в основе работы холодильника, заключается в следующем: при сжатии газ нагревается, а при расширении охлаждается. (Именно поэтому струя из баллончика со сжатым воздухом, которым продувают компьютер от пыли, ощущается холодной, а если переусердствовать, баллон станет болезненно холодным на ощупь.) В современных холодильниках используются специальные хладагенты, однако подойдет и обычный воздух.

Если вы сумеете разработать доступные кузнецам методы герметизации, сжатия газа и его расширения, то сможете спроектировать холодильник, который вполне можно построить в древности. Вам просто нужно охладить воздух после его сжатия – например, пропустив через него прохладную воду, чтобы отвести избыточное тепло и тем самым снизить температуру. Если дать газу снова расшириться, он станет холоднее, чем вода-охладитель, – и холоднее, чем был до сжатия.

Если вы не приложите никакого объяснения, почему холодильник работает, то есть что делает это таинственное устройство, построивший его мастер очень удивится, обнаружив, что оно производит холодный воздух. В те времена еще не знали закона, связывающего температуру и давление газа.

Нам известны законы природы, о которых тысячу лет назад и не слыхивали, поэтому мы можем создавать чертежи устройств, способных делать то, чего люди того времени никогда бы не сумели предугадать – даже внимательно разобравшись в чертежах, даже собственноручно построив само устройство. Примерно такие чувства возникают при столкновении с тем, кто знает о реальности больше, чем вы и ваша цивилизация.

Чем сложнее игровое поле, тем больше преимуществ получает игрок, у которого больше знаний, выше интеллект и лучше понимание самой игры.

На доске для крестиков-ноликов размером 3 × 3 игрок-человек способен запомнить все дерево вариантов, после чего места для неожиданностей не останется.

В шахматах и го правила полностью известны, а доски видны целиком, однако дерево вариантов в обоих случаях гораздо сложнее. Более сильные противники могут делать ходы, которые вас удивят, но впоследствии вы хотя бы поймете, почему по правилам проиграли.

Если игровое поле видно не полностью, реальность время от времени говорит вам, что вы проиграли, однако причин вы не знаете. Вас увольняют, и менеджеры утверждают, что это произошло без какой-либо конкретной причины. Вы практически уверены, что они лгут, но не знаете, что на самом деле происходило за кулисами. Однако даже в этом случае вы все равно понимали, что такое событие теоретически может произойти.

Когда же мы начинаем хуже понимать игровое поле – не только не можем наблюдать скрытые причины увольнения, но и не понимаем стоящие за ними правила, – мы застигнуты врасплох: мы не знали, что подобные события допустимы. У воинов на большой лодке есть палки, они направляют палку на вас – и вы умираете.

Чем меньше вы что-то понимаете, чем хуже знаете регулирующие правила, тем больше у разумного противника возможностей атаковать вас такими способами, которые заставят вас воскликнуть: “А что, так можно было?!” Если, конечно, вы сумеете выжить, чтобы выразить свое потрясение.

Теперь вернемся к главному вопросу. Как искусственный интеллект победит человечество? С какой стороны ждать удара?

Люди сейчас знают о физике больше, чем кузнец тысячу лет назад. Безусловно, в физике высоких энергий мы многого не понимаем, но вполне можно допустить, что не существует масштабного физического сверхоружия, которое ИИ мог бы создать просто с помощью подписчиков в соцсетях и наемных рук.

Однако остается немало областей, где даже самые умные и образованные люди сталкиваются с колоссальной неопределенностью. Например, биология. Дело не в том, что физики не понимают физических законов, управляющих органической материей, но, как и в случае с известными правилами игры в шахматы, они не в силах просчитать последствия. В биологии люди в основном могут лишь потыкать – и посмотреть, что произойдет.

Чем хуже изучена какая-то часть реальности, тем логичнее ожидать, что более совершенный разум сумеет провернуть нечто такое, чего вы не сможете понять, даже наблюдая собственными глазами.

Самая загадочная для современной науки область биологии – механизм работы человеческого разума и мозга.

Сегодня создаются оптические иллюзии, невозможные еще пятьдесят лет назад. Для этого используются относительно новые данные о том, как устроена обработка зрительной информации у человека и что именно происходит в зрительной коре: как воспринимается цветовой контраст, как мозг понимает, что происходит движение. Мы можем создавать такие оптические иллюзии потому, что зрительная кора – одна из самых простых для изучения областей мозга, и у нас есть некоторое представление о том, как данные там обрабатываются.

Но как кодируются воспоминания? Мы не знаем. Судя по тому, что повреждение гиппокампа приводит к неспособности формировать новые воспоминания, гиппокамп имеет какое-то отношение к этой деятельности, однако мы не знаем, что именно он делает. Как человеческий мозг извлекает понятия, связанные со словами, и формирует из них смысл предложения? Какие форматы данных используются для нейронной активности? По каким правилам они обрабатываются? Мы не знаем.

Могут ли в областях обработки информации более высокого уровня, нежели зрительная кора, существовать странные феномены, которые позволили бы сверхинтеллекту вызывать “иллюзии воспоминаний”, заставляющие человеческий разум отчетливо помнить, как начальник поручил ему сделать то, чего он никогда не поручал? Или “иллюзии рассуждений”, которые гарантированно вызывают ошибку в рассуждениях? Может ли сущность, которая глубоко понимает мозг, “взломать” его?

Возможно, да, а возможно, и нет. Мы не знаем. Но это, безусловно, та область, где мы не понимаем правил и где ИИ-модель, эти правила понимающая, могла бы разработать план, последствия которого изумили бы нас – даже после того, как мы разобрались бы в чертежах.

Мы не знаем точно, какую тактику применит искусственный интеллект в конфликте с человечеством. Это сложный прогноз. Наше лучшее предположение таково: это будет нечто неожиданное.

Конечно, такой ответ на вопрос, какими возможностями будет обладать сверхинтеллект, нельзя назвать удовлетворительным. Ответ подобного рода не убедит скептически настроенного ацтекского воина, что идея “палки, которую направляют на тебя – и ты умираешь” относится к области