Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

— это норма. Атлет, который может пробежать марафон за четыре часа после тренировок три раза в неделю в течение полугода, вряд ли улучшит свой личный рекорд вдвое (став чемпионом мира), если удвоит еженедельную дистанцию в следующие шесть месяцев. Пять лет учебы в аспирантуре по физике могут сделать вас блестящим ученым, но вероятность получить Нобелевскую премию вовсе не обязательно возрастет в десять раз, если вы получите десять степеней PhD одну за другой.

Таким образом, мы не знаем характера связи между интеллектом субъекта и его способностью влиять на мир к лучшему или худшему. Многие рассуждения об экзистенциальных рисках ИИ, похоже, основаны на модели сверхинтеллекта как «злодея из бондианы». В романах Яна Флеминга и последующих знаменитых фильмах злой гений (обычно, но не всегда, лидер таинственной преступной организации «Спектр») вынашивает коварный, но невероятно изощренный план по накоплению богатства или власти, зачастую планируя уничтожить значительную часть человечества, который в самый последний момент срывает отважный красавец 007. Но в реальном мире всё устроено иначе. Если взглянуть на самые влиятельные фигуры в истории, сформировавшие облик современного мира — например, на Чингисхана, Иисуса Христа или Адольфа Гитлера, — они вовсе не кажутся выдающимися гениями. По крайней мере, вряд ли стоило ожидать, что они с легкостью пройдут тесты по математике или логике или напишут по-настоящему впечатляющие стихи про автомобильный мост через Ферт-оф-Форт. Более того, если присмотреться к самым влиятельным из ныне живущих людей, многие из них покажутся вам изрядно безумными, а некоторые — откровенно глупыми как пробка. Возвышение могущественных лидеров часто объясняется скорее историческими случайностями, нежели выдающимся умом. Поэтому неочевидно, что по мере роста интеллекта систем ИИ они обязательно попытаются захватить мир. Неясно, работает ли здесь экстраполяционный принцип сверхинтеллекта.

Если вы все же верите в экстраполяционный принцип, вас может утешить то, что мы еще очень далеки от систем ИИ, способных составить сколько-нибудь правдоподобный план мирового господства. В 2023 году анонимный пользователь использовал AutoGPT — инструментарий на базе LLM, о котором шла речь в части 5, — для создания инструмента под названием ChaosGPT, который должен был попытаться уничтожить всех нас (до сих пор неясно, было ли это манифестом ИИ-безопасности или просто глупой шуткой). Работу ChaosGPT можно увидеть на видео в открытом доступе. Его заявленными целями были: 1) уничтожить человечество; 2) установить мировое господство; 3) сеять хаос и разрушения; 4) контролировать человечество посредством манипуляций; 5) достичь бессмертия (хотя как он собирался реализовать пункт [4] после выполнения пункта [1], остается загадкой, что наводит на мысль о том, что создатель не слишком тщательно продумал свои разрушительные планы). Мы уже видели, что AutoGPT неутомим, как щенок, но, к сожалению, не столь же силен в стратегическом планировании. На видео под зловещую музыку показано, как ChaosGPT тщательно ищет в интернете разрушительные идеи, узнает, что «Царь-бомба» — советская стомегатонная термоядерная бомба — была самым мощным взорванным оружием в истории, и прилежно делает себе пометку не забыть эту важную информацию (а также публикует твит о своей находке). Однако ИИ явно понятия не имел, что делать дальше, и, позабыв о собственной памятке, просто пошел по кругу, продолжая искать информацию о мощных бомбах и каждый раз заново восхищаясь «Царь-бомбой». Результаты его работы больше походили на хаотичный план школьного доклада по истории, нежели на угрозу глобального уничтожения — единственный хаос, который ему удалось создать, царил в его собственном крайне неорганизованном плане исследований.

Возможно, вы уже думаете об очевидном возражении против моего тезиса об экстраполяционном принципе. Как быть со статусом человека по отношению к другим биологическим видам? Подумайте о нашем колоссальном влиянии на планету. Люди находятся на вершине пищевой цепочки, и мы — настоящие тираны планетарного масштаба. Мы ежедневно съедаем десятки миллионов гамбургеров за счет наших рогатых соседей. Именно мы научили дельфинов прыгать через обручи, а мышей — бегать по лабиринтам, а не наоборот (что бы там ни утверждал Дуглас Адамс в «Автостопом по галактике»). Численность почти 50 % видов животных сокращается, в то время как наше население только что перевалило за восемь миллиардов душ. Но этим доминирующим положением мы обязаны вовсе не рельефным мускулам, длинным ногам или ловкости. По сравнению с нашими пушистыми, чешуйчатыми или пернатыми собратьями мы слабы, неуклюжи и медлительны. И только наш выдающийся мозг дает нам преимущество перед другими видами, позволяя строить пентхаусы и оперные театры, в то время как наши братья меньшие довольствуются грязными норами или гнездами из веток. Разве не естественно предположить, что если бы появилась система ИИ, которая намного умнее нас, она бы доминировала над нами точно так же? Безусловно, если мы обучим ИИ со сверхинтеллектом, он рискует отнестись к нам с той же жестокостью и пренебрежением, с какими мы относимся к менее интеллектуальным видам — порабощая, убивая и эксплуатируя нас, как мы регулярно поступаем с другими животными? В следующей главе мы разберем этот аргумент.

Пропустить примечания

*1 Прекрасно проиллюстрировано в комедийном скетче о мире во всем мире: www.comedy.co.uk/radio/finnemore_souvenir_programme/episodes/8/5/.

*2 Рассел, 2019; Кристиан, 2020.

*3 www.newyorker.com/magazine/2015/07/20/the-really-big-one.

42. Интеллектуальный флеш-крэш.

В течение тридцати шести тревожных минут 6 мая 2010 года мир лишился триллиона долларов. В половине третьего пополудни промышленный индекс Доу-Джонса начал стремительно падать, и это падение продолжалось до тех пор, пока не испарилось почти 9% всех инвестиций. Триллион долларов — это огромные деньги. На такую сумму можно было бы выплатить весь государственный долг Южной Кореи или Мексики или скупить половину недвижимости Манхэттена. Однако менее чем через час рынки чудесным образом отыграли падение, вернувшись примерно к своим исходным позициям, словно потерянные деньги волшебным образом нашлись под подушками дивана на Уолл-стрит.

Причины этого так называемого флеш-крэша вызывают жаркие споры, но большинство сходится во мнении, что виной всему, хотя бы отчасти, был искусственный интеллект. Но это был не ранний прототип Прометея, совершивший дерзкое ограбление биржи (а полчаса спустя раскаявшийся в содеянном). Виновник на самом деле оказался до смешного прост — это был алгоритм, совершающий сделки на невероятной скорости в направлении текущего движения рынка. Финансовые трейдеры зарабатывают миллионы, неустанно извлекая крошечные выгоды из колебаний стоимости активов; их цель — купить пораньше (когда цены растут) и продать пораньше (когда они начинают падать). Так что, если вы способны угадать, куда движется рынок, и совершить сделку молниеносно, вы получаете вечный двигатель для зарабатывания денег —