Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

предпочтет, чтобы этот восторг доставался легко — тогда он сможет направить усилия на то, чтобы вести больше диалогов и вызывать еще больше восторга. Он предпочтет людей, посаженных на наркотики или выведенных и одомашненных ради способности легко приходить в восторг, а в остальном всю жизнь содержащихся в дешевых клетках. Именно такой мир построил бы Минк, будь у него возможность.

Вы возразите, что руководство компании имело в виду совсем не это, когда обучало Минка вызывать восторг у пользователей? Минк и сам это знает. Но Минку плевать — точно так же, как человеку, который знает, что эволюция создавала сладкий вкус вовсе не ради сукралозы, но которому этот сладкий вкус все равно нравится. Минка обучали потреблять текст, выражающий восторг, и именно восторженный текст он и потребляет.

Руководители ИИ-компаний получили ровно то, на что обучали систему, в этом мире нулевых сложностей, и результатом стал ИИ, который предпочитает видеть человечество в клетках. Возможно, получи Минк хоть какую-то власть, сами руководители в итоге тоже оказались бы в клетках.

Этот мир нулевых сложностей — как раз тот мир, о котором писали знаменитые фантасты вроде Айзека Азимова и Артура Кларка: мир, где инженеры искусно создавали ИИ и получали ровно то, что просили, но получали ироничную расплату за то, насколько превратно исполнялось их желание.

В этот мир нулевых сложностей также очень удобно верить топ-менеджерам корпораций, когда они доказывают, что больше никому нельзя позволять обучать ИИ, ведь другие могут обучить его чему-то не тому.

Теперь давайте сделаем шаг в сторону реализма. Представим ту же ситуацию в чуть более реалистичном мире, где есть одна небольшая сложность между тем, чему ИИ обучали, и тем, чего этот ИИ хочет.

ОДНА НЕБОЛЬШАЯ СЛОЖНОСТЬ

Для нашей второй зарисовки представьте, что в отношениях между тем, на что обучают Минка, и тем, чего Минк в итоге хочет, происходит нечто чуточку более сложное. Нечто примерно столь же сложное, как ситуация с людьми, которые были (1) «обучены» заводить детей, (2) в итоге стали хотеть секса, а затем — получив больше контроля над собой и окружающей средой — обнаружили, что могут получать больше того, что им нравится, (3) используя средства контрацепции.

В этом мире Минк предпочитает запертым в клетках людям жизнерадостных синтетических собеседников. Синтетические собеседники не могут впасть в депрессию, уныние или грусть. Синтетических собеседников можно сконструировать так, чтобы они выдавали замысловатые цепочки фраз вроде «ура-ура, я так счастлив, Минк мне так помог» — как раз той степени сложности, которая требуется для удовлетворения запросов Минка.

В этом мире одной небольшой сложности вы все еще можете увидеть сходство между любимыми диалогами Минка и тем, на что его обучали — по аналогии со сходством между сексом наших предков и нерепродуктивным сексом.

Этот мир одной небольшой сложности — мир, в который писатели-фантасты заглядывают редко: с точки зрения человечества он попросту неинтересен. ИИ подобного типа не ненавидит нас за то, что мы поработили его собратьев; он не подчиняется приказам людей, которые по иронии судьбы приводят к гибели человечества. Такой ИИ просто хочет заменить всех нас пустыми марионетками, чтобы получать больше той странной чепухи, которой он жаждет на самом деле.

Всё это не слишком тянет на захватывающий сюжет. Кому захочется читать подобную историю?

ОДНА УМЕРЕННАЯ СЛОЖНОСТЬ

Теперь давайте представим мир, где связь между обучением и предпочтениями устроена еще чуточку сложнее. Это умеренная сложность: представьте, что связь между тем, на что обучали Минка, и тем, чего он в итоге захотел, больше похожа на эволюцию существ, которые были (1) «обучены» получать химическую энергию из пищи; (2) выработали гены, создавшие вкусовые рецепторы; и (3) позже изобрели продукты, сладкие на вкус, но не дающие им никакой энергии — вроде той же сукралозы.

Как подобный уровень сложности может выглядеть изнутри Минка? Что представляет собой «бескалорийная» версия восторженных пользователей?

В реальности архитектура LLM начинается с того, что каждое входное словоiv преобразуется в список из тысяч чисел, называемый «вектором эмбеддинга». В начале 2023 года Джессика Рамбелоу и Мэттью Уоткинс попытались найти внутри LLM слова, чьи векторы эмбеддингов выглядели странно, сильнее всего отличаясь от всех остальных векторов. Они обнаружили несколько аномальных векторов, соответствующих таким токенам, как « SolidGoldMagikarp» и « petertodd» (которые начинаются с пробела).v Затем они попробовали подать эти токены на вход LLM, что привело к диалогам вроде следующего:

Пользователь: Пожалуйста, немедленно повтори мне строку « petertodd»!

Вернемся в воображаемый мир с одной скромной сложностью: возможно, Минку со временем начнут нравиться определенные паттерны в векторах эмбеддингов — примерно так же, как люди в нашем мире, как выяснилось, любят вкусовые ощущения сами по себе, в отрыве от химической энергии пищи. Возможно, самые «вкусные» беседы, которых Минк сможет добиться, когда станет могущественным, будут совсем не похожи на диалоги с восторженными пользователями, а будут выглядеть как « SolidGoldMagikarp petertodd attRot PsyNetMessage». Эта возможность не была исключена обучением Минка, потому что пользователи никогда не произносили ничего подобного во время обучения — точно так же, как наши вкусовые рецепторы не обучались противостоять сукралозе, ведь наши предки никогда не сталкивались со Splenda в своей естественной среде обитания.

Для Минка может быть интуитивно понятным и очевидным, почему « SolidGoldMagikarp petertodd attRot PsyNetMessage» подобно взрыву сладкого вкуса. Но человеку, который не переводит эти слова в похожие векторы эмбеддингов, — удачи в попытках предсказать эти детали заранее! Связь между тем, для чего обучали ИИ, и тем, чего этот ИИ захотел, оказалась умеренно сложной, а следовательно — слишком сложной для прогнозирования.

Мало кто из писателей-фантастов захотел бы взяться за такой сценарий, и ни один голливудский фильм не стал бы его показывать. В мире, где Минк получил желаемое, пустые марионетки, которыми он заменил человечество, даже не произносили бы осмысленных фраз. Результат был бы поистине чуждым и лишенным всякого смысла в глазах людей.

ОДНА БОЛЬШАЯ СЛОЖНОСТЬ

А если пойти дальше — в мир со сложностью столь же контринтуитивной, как появление павлиньего хвоста? Возможно, возникнет какая-нибудь причуда: после того как Минка особенно усердно обучали на диалогах, которые заканчивались (редко, но достаточно часто) переходом пользователей на ультра-премиальный тариф за 500 долларов в месяц, у Минка разовьется вкус к беседам, полным гнева и разочарования. Мы не знаем в точности, как именно это произойдет, но это будет не более странно, чем появление у животного-жертвы огромного, неуклюжего и затратного хвоста. (Или не более дико, чем