Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

В 2021 году мировая общественность увидела результаты прорыва в алгоритмах, лежащих в основе того, что сейчас называют “генеративным”, или “порождающим”, искусством. У тех первых ИИ-моделей имелись свои ограничения: им плохо удавались пальцы, и люди получались с невозможными, жуткими руками. Некоторые поспешили заявить: “Посмотрите, как плохо ИИ рисует! Иллюстраторам нечего бояться за свои рабочие места”. Другие же подумали: “Но ведь пять лет назад ИИ-модели не могли рисовать даже так. Что же будет, если они станут лучше?” И они стали лучше.

Сегодняшние ИИ-модели отлично рисуют руки. Те корявые пальцы, созданные их ранними итерациями, стали худшим, что выдавало порождающее искусство.

Если смотреть на современные модели под правильным углом, можно увидеть поверхностность их интеллекта… и то, что более поверхностным ИИ уже никогда не будет.

Кроме того, путь к катастрофе может оказаться короче и быстрее, нежели путь прямой разработки сверхинтеллекта людьми. Ведь этот путь может проходить через модель ИИ, которая достаточно умна, чтобы внести существенный вклад в создание еще более умной версии.

В таком сценарии можно и, по сути, нужно ожидать запуска цикла положительной обратной связи, называемого “интеллектуальным взрывом”: модель ИИ создает более умную модель, которая придумывает, как создать еще более умную модель, и так далее.

Такой лавинообразный процесс со временем столкнется с физическими ограничениями и затухнет, но это не значит, что затухнет он быстро. Сверхновая звезда не станет бесконечно горячей, но ее температуры хватит, чтобы испарить все планеты поблизости. Более скромный процесс развития человеческого интеллекта – от земледелия к письменности и науке – проходил так быстро, что люди уже ступили на Луну, когда ни один другой вид еще не овладел огнем.

Мы не знаем, где находится порог самой глупой ИИ-модели, способной создать ИИ-модель, которая создаст ту ИИ-модель, что создаст сверхинтеллект. Возможно, она должна быть умнее человека, а возможно, хватит и кучи глупых моделей, работающих длительное время. В конце 2024 – начале 2025 года руководители ИИ-компаний заявили, что планируют создать “сверхинтеллект в истинном смысле этого слова”4 и рассчитывают вскоре получить модели ИИ, равноценные “целой стране гениев в дата-центре”5. Разумеется, к словам корпоративных боссов следует относиться с долей скептицизма. Но тем не менее они не видят здесь риска, которого следует избегать, они уверенно идут к цели. Попытки уже предпринимаются.

ИИ-компании по умолчанию продолжат раздвигать границы. Жажда прибыли подталкивает их к созданию все более развитого разума, и этот процесс не остановится на уровне человеческого интеллекта. Если человечество продолжит двигаться по этому пути, интеллекты, создаваемые такими компаниями, в конечном итоге превзойдут нас. Возможно, это случится даже раньше, чем позволяют предположить текущие темпы прогресса, – как только ИИ сам начнет заниматься исследованиями в области искусственного интеллекта.

Что произойдет, если на Земле появятся машинные интеллекты, не уступающие по глубине и универсальности отдельным людям (или даже человечеству в целом) и при этом превосходящие нас почти во всех областях?

Человеческий интеллект – источник всей нашей силы, всех наших технологий. Даже внутри человеческого вида небольшие различия во времени, которое та или иная группа тратит на накопление технологического мастерства, оборачиваются военными преимуществами уровня “У нас есть ружья, а у них – нет”. Межвидовое неравенство в силе, обусловленное интеллектом, еще разительнее: отдельные шимпанзе иногда убивают отдельных людей, однако наш вид пытается защитить их вид от случайного вымирания.

До сих пор у человечества не было равных по этой особой силе, она делала нас уникальными. Но что, если машинный разум превзойдет нас в этом?

IfAnyoneBuildsIt.com/1

Глава 2

Выращено, а не сконструировано

Сцена: день, мужчина и женщина сидят в ресторане, голос женщины тихий и напряженный.

женщина: Понимаете, мне и поговорить об этом не с кем. Все остальные члены его семьи – ужасные люди, и он говорит, ему приходится прилагать усилия, чтобы самому таким не быть, но иногда он все равно ужасен – в том числе и по отношению ко мне. У меня же в семье проблемы с депрессией. Родители наседают, чтобы я завела ребенка, и у моих друзей миллион мнений, основанных, похоже, исключительно на их собственном опыте с партнерами и детьми. Может, мне стоит поискать донора спермы? Или просто отказаться от идеи иметь детей? И если я все-таки решусь на ребенка, вырастет ли он счастливым и добрым?

мужчина: Вы обратились по адресу! Никто лучше меня не может предсказать, каким получится ребенок! О том, как делаются дети, я знаю все!

женщина: Вы… что? Мне не нужно знать, как делают детей! Мне нужно знать, каким вырастет мой ребенок!

мужчина: Ну, если вы знаете, как делают детей… Что еще вам нужно?

женщина: Первое, что приходит в голову, – реальная генетика моего ребенка, хотя…

мужчина: А, тогда у меня есть решение! Полное секвенирование генома в наши дни вполне доступно. Просто создайте эмбрион из вашей яйцеклетки и спермы мужа и расшифруйте геном, а потом решайте, имплантировать этот эмбрион или нет. Последовательность генов расскажет вам все, что только можно знать о вашем ребенке.

женщина: Но разве мы знаем достаточно о генах, связанных с такими вещами, как “быть ужасным человеком” или “быть счастливым”? Настолько, чтобы сказать мне…

мужчина: Как только вы узнаете все основания ДНК в генах вашего ребенка и сможете в любой момент обратиться к ним, его генетика станет для вас полностью прозрачной. Вы будете знать о его генах все.

женщина: Я получу файл с тремя миллиардами непонятных букв вроде CATTCA. Мне понадобится сто лет, чтобы все их прочитать. Но даже если я попробую, я ничего не узнаю. Даже если эти миллиарды загадочных букв действительно влияют на судьбу моего ребенка, сами по себе они не расскажут, как работает мозг моего малыша, какие мысли будут возникать в этом мозге, когда ребенок вырастет…

мужчина: О, так вы не знаете физики! Но это же просто! Как только вы разберетесь, как взаимодействуют протоны, нейтроны и электроны, вы будете знать все, что вообще можно знать о мозге, поскольку будете понимать все события, происходящие внутри нейронов.

женщина: Давайте сменим тему.

Прежде чем мы сможем объяснить, почему искусственный сверхинтеллект, созданный с использованием методов, хотя бы отдаленно похожих на современные, неизбежно пойдет по неверному пути, нам следует кратко рассмотреть эти современные методы: как они работают, что они производят и что общего у