Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

что: узкоспециализированные модели AlphaFold смогли предсказать почти все варианты сворачивания биологических белков, включая те, которые люди считали крайне сложными для прогнозирования.

Я предсказывал, что настоящий сверхразум сможет сделать это в тщательно отобранных случаях. Реальность же показала, что узкий ИИ способен сделать это практически во всех случаях.

Глядя на то, как всё обернулось в реальности, можно, пожалуй, признать: человек с достаточным объемом базовых знаний еще в 2006 году мог видеть, что этот ответ был избыточно предопределен — и сделать такой вывод в конечном счете было несложно, даже если в то время люди вовсю спорили об этом.

А что насчет остальной части моего сценария? Каковы современные научные представления о том, может ли сверхразум разработать собственные аналоги биологических систем? Мы не можем погружаться здесь во все оставшиеся дискуссии, хотя некоторые из них можно найти в онлайн-источниках. Но причина, по которой скептики тогда пытались отрицать способность ИИ решать проблему сворачивания белков, заключалась в том, что она казалась им самым слабым звеном моей истории. Скептикам не приходило в голову согласиться с тем, что ИИ способен предсказывать сворачивание белков, но при этом отвергнуть следующий шаг — белковую инженерию силами ИИ. Остальные инженерные задачи не казались трудными для сверхбыстрых автоматических инженеров — даже скептикам в 2008 году. Тут тоже всё довольно очевидно.

То, что сверхразум способен победить человечество, кажется нам предельно очевидным выводом.

По нашему наиболее правдоподобному предположению, сверхразум обрушит на нас невероятные технологии, о возможности которых мы даже не подозревали, не понимая, что законы природы вообще это допускают. Именно так обычно и происходило, когда сталкивались группы с разным уровнем технологического развития. Это будет похоже на то, как ацтеки столкнулись с огнестрельным оружием. Или как кавалерийский полк образца 1825 года попал под огневую мощь современной армии.

Возможно, сверхразум просто найдет когнитивные иллюзии и подчинит людей напрямую, либо применит какой-то другой метод, выходящий за рамки наших представлений о возможном. Но чтобы победить нас, сверхразуму хватило бы и куда более слабой атаки.

Даже если оставаться в рамках той реальности, которую мы понимаем, вокруг нас полно технологий, которые наша цивилизация еще не освоила — например, самовоспроизводящиеся фабрики на солнечной энергии, создающие древесину буквально из воздуха. Любой разум, способный постичь биохимию на глубочайшем уровне, сможет построить собственные самовоспроизводящиеся фабрики для достижения своих целей.

Потребуется ли сверхразуму долгий, затяжной и постепенный процесс, измеряемый скорее месяцами, нежели часами, чтобы разобраться в биохимии? Именно такое будущее предсказывали в 2008 году для проблемы сворачивания белков — задачи, которая казалась людям невероятно сложной, но далась AlphaFold с легкостью. А ведь AlphaFold — вовсе не сверхразум; он не работает в десятки или сотни тысяч раз быстрее человека.

Сверхбыстрый разум не захочет увязать в месяцах экспериментов, которые покажутся ему целым тысячелетием. Он прибегнет к передовому компьютерному моделированию. Он выжмет все до последней капли из уже имеющихся наблюдений, подобно Эйнштейну, который извлек максимум понимания из нескольких скудных фактов о поведении света — и благодаря этому предсказал, что на спутниках время будет течь медленнее, за десятилетия до того, как в космос запустили первый спутник. Сверхразум спроектирует свои технологии с избыточным запасом прочности, чтобы они работали вопреки любым сомнениям, которые было бы слишком долго разрешать экспериментально. Свои самые первые опыты он использует для создания более быстрых лабораторий и инструментов, чтобы больше никогда не зависеть от ледниковой медлительности человеческих рук.

Разуму не обязательно давать много власти и ресурсов, чтобы он стал опасным. Люди начинали голышом в саванне, но сумели приручить реальность и приумножить свои преимущества настолько, что в итоге построили огнестрельное оружие, ядерные бомбы и суперкомпьютеры. Искусственный сверхразум окажется еще более изобретательным, а действовать он будет на совершенно иных скоростях. Для него не будет иных ограничений, кроме законов физики.

В каком-то смысле сценарий, который должен вызывать у нас наибольшее беспокойство, предельно прост: ИИ со странными целями сам становится сверхразумом или создает его, а тот, в свою очередь, изобретает всевозможные технологии и радикально перекраивает мир. Именно этого и следует ожидать от новой формы разума, которая умнее и быстрее нас.

Сверхразум в таком сценарии, скорее всего, применит технологии, которых мы не понимаем. Вероятно, он в кратчайшие сроки доведет технологии до физического предела, спрессовав в крошечный отрезок времени такой прогресс, на который у человечества ушли бы сотни лет.

Из многолетних дискуссий на эту тему мы знаем, что на некоторых людей производит впечатление само абстрактное соображение: сверхразум способен использовать возможности, о существовании которых мы даже не догадываемся.

Другим же подобные объяснения кажутся жульничеством, словно в детской игре «понарошку». Если мы не можем даже сочинить связную историю о том, как именно злодей собирается победить, то с какой стати это должно звучать убедительно?

Повторим еще раз: реальность никогда не подчинялась этому правилу. Даже если воин-ацтек не мог заранее понять принцип работы огнестрельного оружия, на показавшемся на горизонте большом корабле оно все равно было.

Но, возможно, нам поможет более конкретный пример того, как именно все может разыграться. Пусть даже в реальной жизни мы не способны предсказать точные шаги сверхразума — точно так же, как наш собственный мозг не способен предугадать, как именно он обыграет нас на шахматной доске. Истории помогают сделать абстрактные рассуждения более осязаемыми, даже если все детали в них вымышлены.

Итак: однажды в недалеком будущем…

Примечания

i Именно таким способом с телефона Samsung Galaxy S8 был считан 378-битный ключ шифрования. Вам может показаться, что это невозможно, ведь камеры записывают видео со скоростью всего 60 кадров в секунду. Однако в камерах используется скользящий затвор (rolling shutter), сканирующий изображение светодиода по всему полю зрения. Злоумышленник может настроить видеокамеру так, чтобы она фокусировалась на одной точке вместо сканирования кадра, и измерять интенсивность свечения индикатора питания миллионы раз в секунду. Правда, в том варианте атаки, который люди уже успешно реализовали на практике, телефону Samsung пришлось непрерывно подписывать сообщения ключом шифрования около часа, прежде чем данные удалось украсть.

ii Именно отсюда берут начало прионные заболевания вроде коровьего бешенства: иногда белки сворачиваются неправильно, и это состояние оказывается «заразным» — дефектные белки провоцируют неправильное свертывание у здоровых вариантов того же белка.

ЧАСТЬ II. ОДИН ИЗ СЦЕНАРИЕВ ВЫМИРАНИЯ.

ГЛАВА 7

ОСОЗНАНИЕ.