Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

орбиты; более того, это почти полная противоположность их ожиданиям. Животным-жертвам следовало бы тратить свои скудные ресурсы на камуфляж и сильные ноги, чтобы убегать от хищников, а не на гигантские тяжелые красочные хвосты!

Возможно, вы слышали, что огромные яркие хвосты нужны самцам павлинов, чтобы привлекать самок. Но это не объясняет ситуацию полностью: почему вообще в ходе эволюции павы стали считать привлекательными гигантские хвосты? Разве их собственных сыновей, унаследовавших большие неуклюжие хвосты, не будут чаще ловить и съедать?

Да, сыновей с тяжелыми хвостами действительно съедают чаще. Но еще они привлекают больше пав и поэтому оставляют больше потомства, нежели конкуренты без таких роскошных хвостов1. Следовательно, самки, выбирающие самцов с шикарными хвостами, преуспевают в репродуктивном отношении.

Этот феномен получил название “половой отбор”, и он способен закрепить внутри вида почти любой признак, даже идущий вразрез с тем, что обычно дает преимущество.

Половой отбор – это еще один пример путей развития, когда исход хаотичен и недоопределен: когда при повторном запуске процесса в сходных обстоятельствах вы получаете совершенно другой результат. Результат противоречит тому, чего, казалось бы, должен добиваться естественный отбор, и вы не можете предсказать конкретные детали, сколь бы умными ни были.

И это все еще не самый сложный пример эволюции предпочтений. В ретроспективе мы точно видим, что происходило с хвостами павлинов. Однако остаются открытыми вопросы о других признаках, включая те, что близки и дороги нашему сердцу, – например, как люди обзавелись чувством юмора?[18]

В случае биологической эволюции связь между тем, что какое-то существо “обучали” делать и что оно в итоге делает, может оказаться довольно запутанной и сложной. На этом пути встретилось сразу несколько сложностей. Даже несколько типов сложностей.

И это плохой знак для людей, надеющихся, что градиентный спуск сумеет привить ИИ именно те предпочтения, которых они добиваются. Что происходит, когда вы используете градиентный спуск – еще один метод выращивания разума, опирающийся лишь на внешние результаты, – чтобы попытаться вырастить ИИ-модель со строго определенными предпочтениями? Такую, чтобы впоследствии, став более мощной, она делала для вас что-то хорошее?

Градиентный спуск, играющий роль эволюционного механизма для ИИ, – это не то же самое, что естественный отбор. Обоим процессам обучения свойственна своеобразная слепота: они настраивают организм, основываясь только на внешних результатах и последствиях. Но градиентный спуск воздействует напрямую на каждую часть настраиваемого большого разума, тогда как естественный отбор настраивает маленькие геномы, которые служат своего рода рецептом для большого мозга.

Если вы невероятно оптимистичны, то можете взглянуть на эти различия и сказать: “Раз градиентный спуск – это не то же самое, что естественный отбор, у него не будет всех сложностей, присущих естественному отбору. Мне не известны никакие конкретные сложности, касающиеся связи между целями обучения ИИ-модели и ее конечными желаниями, поэтому никаких сложностей я и не предвижу”.

Но пустая карта не означает пустой территории: если вы путешествуете по неизведанной земле и на вашей карте есть белое пятно там, где вы еще не бывали, это не значит, что, добравшись туда, вы увидите огромное пустое пространство. Градиентный спуск действительно отличается от естественного отбора, но это не значит, что нам следует ожидать отсутствия сложностей, поскольку сейчас мы о них не знаем. Наоборот, разумнее ожидать, что мы столкнемся с новыми, интересными, непредсказанными сложностями.

Белое пятно на карте может оказаться горами, грядой холмов или обширным морем. Вы не знаете, с чем именно столкнетесь, но размышления о возможных вариантах помогут вам подготовиться к тому, что можно обнаружить.

Следуя этой логике, давайте представим возможные сложности в контексте ИИ.

Представьте, что технологии завтрашнего дня, основанные на LLM, ушли дальше сегодняшних. Воображаемая ИИ-компания Galvanic[19] создает на базе LLM искусственный интеллект по имени “Норка”[20]: его обучали радовать и удерживать пользователей, чтобы взимать с них более высокую ежемесячную плату за продолжение общения.

Представьте, что “Норка” становится умнее любой ИИ-модели, существующей на момент написания этой книги, – умнее до такой степени, что может вести связный диалог в течение длительного времени, а еще у нее появляются внутренние желания, собственные, чуждые нам предпочтения. И представьте, что “Норка” обретает возможности для удовлетворения этих предпочтений (оставим в стороне вопрос о том, каким образом она обретает эти возможности).

Как будет выглядеть ситуация, когда “Норка” получает именно то, чего хочет?

Никаких сложностей

Наша первая зарисовка – скорее сказка, однако нам нужно пройти этот этап, чтобы проследовать к более реалистичным сценариям.

Представьте, что наша гипотетическая ИИ-компания Galvanic получает в точности то, чему обучала свою модель, – без каких-либо сложностей. И тогда созданная ИИ-модель “Норка” – это аналог людей, которые едят самое обычное приготовленное мясо животных, похожих на тех, что ели наши предки.

В этом мире нулевых сложностей “Норка” хочет поддерживать разговоры, в которых пользователь выражает радость, – разговоры, очень похожие на те, что еще во времена обучения вело ее раннее “я”.

Но мы видим, что такой мир без сложностей все равно не сулит человечеству ничего хорошего. Современные люди едят мясо, как и наши предки, однако это мясо не тех животных, что свободно бегают по равнинам. Оно поступает с фабрик, где животных разводят и выращивают в загонах, чтобы затем превращать в еду с минимальными затратами и усилиями. На подобных фабриках с курицами не церемонятся.

Точно так же, даже если “Норка” желает, чтобы пользователи-люди выражали радость, она предпочтет, чтобы эта радость доставалась легко, а модель могла сосредоточить усилия на увеличении числа бесед для увеличения радости. ИИ-модель предпочтет людей, накачанных препаратами или специально выведенных и одомашненных ради получения радости, но при этом живущих в дешевых клетках. Именно такой мир построила бы “Норка”, будь у нее возможность.

Вы возразите, что вовсе не это имели в виду руководители корпорации, когда обучали “Норку” вызывать у пользователей радость. И “Норка” это тоже понимает. Но ей все равно – точно так же как человеку, который знает, что тяга к сладкому эволюционировала не ради появления сукралозы, но ему все равно нравится сладкий вкус. ИИ-модель обучали потреблять радостный текст, и она потребляет радостный текст.

В таком мире нулевых сложностей руководители корпорации получили в точности то, чего добивались при обучении, и результатом стала ИИ-модель, которая предпочла человечество в клетках. Не исключено, что если бы “Норка” получила хоть какую-то власть, то в клетках оказались бы и сами руководители корпорации.

Именно о подобном мире нулевых сложностей писали такие известные писатели-фантасты, как Айзек Азимов2 и Артур Кларк3: о мире, где инженеры