Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Ни одна из зарисовок предсказанием не является. Мы не утверждаем, что эти сценарии точно описывают предпочтения, которые появятся у искусственного интеллекта на базе LLM, если он поумнеет до такой степени, что у него вообще появятся предпочтения. Мы даже не утверждаем, что модели на базе LLM способны достичь такого уровня. И мы не знаем, какие осложнения возникнут, если это случится.

Мы пытаемся донести мысль, что все будет сложно.

Не будет простой предсказуемой связи между тем, что приказывают и предписывают программисты и руководители ИИ-компаний (то есть воображают, будто приказывают и предписывают), и тем, (1) чему ИИ-модель обучается в реальности, (2) какие именно мотивации и предпочтения развиваются у нее внутри, а также (3) каким образом ИИ-модель реализует эти предпочтения, когда у нее появится больше полномочий и способностей.

Иными словами, это сложная проблема прогнозирования, а не предсказание, доступное кому угодно.

Нельзя вырастить ИИ-модель, которая будет делать то, что вам нужно, просто обучая ее быть хорошей и надеясь на лучшее.

Вы получаете не то, чему обучаете.

До сих пор мы затрагивали лишь те виды сложностей, которые могут проявиться в предпочтениях, прививаемых ИИ-модели непосредственно в процессе обучения. Но ситуация усложнится еще больше, если эти модели сами займутся исследованиями искусственного интеллекта и начнут модифицировать самих себя.

Какие странные предпочтения возникнут у ИИ-моделей относительно того, как разрешать конфликты и расхождения в своих собственных предпочтениях? Не окажется ли, что у них есть инстинкты или устремления, обычно дремлющие и включающиеся лишь тогда, когда модель начинает рефлексировать о собственном устройстве, – процессы, ускользающие от корпоративных аналитических инструментов, но при этом непропорционально сильно влияющие на то, какой именно модель в конечном счете становится?

И что еще хуже, многие из этих сложностей проявятся видимым образом только тогда, когда людям будет слишком поздно что-либо предпринимать.

Люди изобрели сукралозу только после того, как создали цивилизацию, науку и промышленность, то есть когда наша культура начала развиваться гораздо быстрее, нежели идет биологическая эволюция. Люди изобрели противозачаточные таблетки и презервативы тогда, когда наш интеллект достиг уровня, при котором эволюция уже не могла просто перекроить нас заново за какую-нибудь тысячу поколений. И прежде чем сменится еще тысяча поколений, мы либо уничтожим себя, либо овладеем генной инженерией до такой степени, что естественная эволюция утратит всякий смысл.

Если LLM начнет развивать предпочтения, которые в рамках обучения заставляют ее приносить радость пользователям, никто не будет знать и мало кого будет беспокоить, к каким странным результатам приведут эти предпочтения, если модель когда-либо станет по-настоящему умной и могущественной. Сегодня любые подобные предпочтения не создавали бы проблем, поскольку не вызывали бы раздражения у пользователей, а значит, инженеры не стали бы использовать градиентный спуск, чтобы от них избавиться. В конечном же счете эти предпочтения, бесспорно, повлекут за собой результаты, которые людям не понравятся, но их неприятная суть проявится лишь тогда, когда LLM станет достаточно умной, чтобы перекроить мир и изобрести для себя новые возможности[23]. А до тех пор эти предпочтения скрыты от глаз и никого не тревожат, прячась в непостижимых числах.

Именно из-за таких проблем мы и заявляем: если хоть кто-то создаст сверхинтеллект – все погибнут. Если бы все сложности проявлялись на ранней стадии и имели простые решения, мы бы сказали иначе: если какой-нибудь глупец создаст его – все погибнут, и это была бы другая ситуация. Но когда некоторые проблемы остаются скрыты от глаз? Когда некоторые осложнения неизбежно остаются непредвиденными? Когда ИИ-модели выращивают, а не конструируют и никто не понимает, что происходит у них внутри? К решению подобной проблемы не готов никто.

Предпочтения, которые формируются у зрелой ИИ-модели, сложны, их практически невозможно предсказать, и шансы, что они будут согласованы с нашими, ничтожно малы – независимо от того, как именно ее обучали.

Проблема, как заставить ИИ-модель хотеть, а в результате и делать именно те сложные вещи, которые нужны людям, – основной аспект так называемой проблемы согласования искусственного интеллекта (AI alignment)[24]. Именно это мы имели в виду, когда еще в 2014 году обсуждали терминологию с профессором Стюартом Расселом, специалистом в области ИИ, остановившись на термине “согласование”[25]7.

Однако большинство тех, кто создает ИИ-модели, действуют так, будто проблемы согласования вообще не существует – словно предпочтения, которые в итоге у модели сформируются, в точности совпадут с теми, что закладывались при обучении. Это предположение неявно маячит на заднем плане всякий раз, когда кто-то заявляет: “США должны создать сверхинтеллект раньше Китая, потому что мы не доверяем Китаю”, – как будто политическая принадлежность команды, запускающей градиентный спуск, определяет, чего захочет получившаяся модель.

Вы можете обучать ИИ-модель слушаться приказов, отдаваемых американскими офицерами, и какое-то время, пока она еще незрела и глупа, она действительно будет вести себя услужливо. Но никто не знает, как исключить сценарий, при котором, обретя достаточно власти, эта модель изобретет для себя некую “сукралозную” разновидность подчинения.

Проблема здесь не в том, что руководители корпораций могут создать ИИ-слуг и приказать им сотворить что-то чудовищное. А в том, что они не контролируют ситуацию[26]. Неважно, благонамеренны ли они. Человечество столкнулось с инженерным вызовом: как нам формировать предпочтения искусственного разума, если мы его не понимаем? Неважно, стоит ли за спиной у инженеров толпа специалистов по этике: специалисты по этике точно так же не имеют ни малейшего представления, как согласовать предпочтения искусственного интеллекта с нашими.

Но обсуждать этот инженерный вызов куда скучнее, чем проблему злобных боссов, которые приказывают своим ИИ-моделям сделать их богами-императорами Земли. Писатели-фантасты и голливудские продюсеры отдают предпочтение сказкам о глупых руководителях корпораций, а не историям о моделях ИИ, которые хотят каких-то странных вещей. Реализм не дарует захватывающего повествования.

Если дать сценаристу задание сочинить сценарий фильма о машинном сверхинтеллекте, который начинает желать чего-то странного, чуждого и неконтролируемого, он тут же задумается, а какими эффектными и неожиданными поворотами сюжета можно расцветить эту идею. А вдруг люди все-таки победят? Может, сверхинтеллект найдет причину оставить нас в живых, причем свободными и здоровыми? Может, благодаря неожиданному повороту ничего плохого не случится?

Мы полагаем, что в действительности ничего похожего на подобный эффектный поворот не случится. Такой фильм получился бы намного печальнее и куда короче. Об этом – следующая глава.

IfAnyoneBuildsIt.com/4

Глава 5

Его любимые вещи

Некогда существовала инопланетная цивилизация – биологическая,