Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

частности, — допуская ничем не сдерживаемое стремление к росту и ведя к «жизнеспособности, расширению жизни, умножению знаний, росту благосостояния». В манифесте также приводится длинный список врагов, включая этатизм, коллективизм, социализм, бюрократию, регулирование, антирост и «башни из слоновой кости» — классические пугала либертарианцев. В кульминационном абзаце под заголовком «Стать технологическими сверхлюдьми» они восторженно заявляют, что «развитие технологий — это одно из самых добродетельных деяний, на которые мы способны».

Конечно, сомнительно, что акселерационистами движет исключительно добродетель. У многих есть личная заинтересованность в успехе ИИ: они работают в лихорадочно развивающихся стартапах, владеют долями в технологических транснациональных корпорациях или по-крупному вложились в биткоин. Многие просто слишком уж без ума от Илона Маска. Многие живут в районе залива Сан-Франциско, который давно взрастил азартную культуру подрывных инноваций и остается бьющимся сердцем прогресса в области ИИ. Большинство из них молоды и состоятельны, и лично выиграли бы от снижения налогов или костра из правил ведения бизнеса. Так что техноутопизм может быть удобной философией для обеспеченных молодых технопредпринимателей — это элитарная форма популизма, своего рода Breitbart для блокчейн-класса.[*3] Но нет сомнений, что многие действительно верят в то, что ИИ спасет всех нас и что, выражаясь финальными словами манифеста, «пора строить».

Неудивительно, что испарения нетерпеливого, корыстного либертарианства, которые источает эта публика, особенно токсичны для тех, кого беспокоит надвигающийся социальный вред от ИИ. С представителями этой стороны дискуссии мы уже сталкивались — в основном они работают на периферии мейнстримного ИИ, в области философии, когнитивистики или социальных наук в широком смысле. Некоторые из них сделали своим основным занятием разоблачение самых позорных оплошностей ИИ и привлечение внимания к его потенциалу усугублять социальную несправедливость, лишать нас индивидуальности или давать государствам и технологическим гигантам власть управлять нами как марионетками. К сожалению, многие приверженцы этой позиции решили, что лучший способ противостоять неумолимому маршу ИИ — это делать вид, будто он никогда не превратится во что-то действительно значимое. Вот пример того, как уважаемый когнитивист призывает всех нас избегать #AIhype:

С недоверием и недовольством я с тех пор наблюдал за тем, как ученые […] поддаются общему увлечению и с энтузиазмом седлают волну хайпа вокруг ИИ, например, восторженно рассуждая о ChatGPT на национальном телевидении или в ходе публичных дебатов в университетах, и даже организуя воркшопы о том, как использовать этого стохастического попугая в академическом образовании.[*4]

Термин «стохастический попугай» — это, конечно же, отсылка к знаменитой статье, обсуждавшейся в третьей части, авторы которой утверждают, что заявления о возможностях LLM сильно преувеличены — что они просто повторяют, как попугаи, отрывки из своих обучающих данных и не делают ничего даже отдаленно интеллектуального.[*5] Как мы уже знаем, это заблуждение, унаследованное от несостоятельной критики Ноама Хомского в адрес статистического моделирования в области обработки естественного языка (NLP). Действительно, LLM все еще многого не умеют, но они не просто попугайски воспроизводят свои обучающие данные (по крайней мере, не больше, чем люди). Благодаря сочетанию трансформера с большими данными и колоссальными вычислительными мощностями, LLM способны на исключительно эффективное контекстное обучение (in-context learning). Это позволяет передовым моделям применять свои выдающиеся импровизационные способности для решения логических, математических или программистских задач, а также давать вполне разумные советы, основанные на здравом смысле.

Несколько странно, что два совершенно разных аргумента — о том, что вокруг ИИ раздут хайп, и о том, что ИИ вреден, — так часто звучат на одном дыхании. Увы, это симптом сегодняшнего гиперполяризованного мира, где качество аргумента оценивается в зависимости от того, высказан ли он вашими политическими союзниками или оппонентами. Поскольку акселерационисты одновременно празднуют неумолимое взятие очередных рубежей ИИ и лоббируют отказ от регулирования, которое могло бы сделать его безопаснее, для их оппонентов вполне естественно поднять знамя борьбы против обоих этих явлений, игнорируя триумфы ИИ и порицая его вред. Это очень прискорбно, потому что огульное отрицание прогресса в области ИИ выставляет его критиков наивными и лишает убедительности их вполне веские параллельные аргументы о том, что ИИ усугубляет социальный вред. Разумеется, в конечном счете эти два лагеря — акселерационисты и противники хайпа — находятся на противоположных полюсах хорошо проторенной либертарианско-эгалитарной оси, и именно этот политический подтекст, без сомнения, катализирует их самые ожесточенные словесные баталии, разворачивающиеся в социальных сетях, блогах и ведущих СМИ. Академический вопрос о том, как на самом деле работает ИИ и каким может быть его потенциальное влияние в будущем, оказывается лишь сопутствующим ущербом в этой вечной политической схватке.

Но это еще не все. Свои ставки в этой игре делает и третья крупная фракция. Эта группа, костяк которой составляют представители сообщества по безопасности ИИ, считает, что ИИ необходимо жестко регулировать именно потому, что он представляет собой невероятно мощный инструмент. Таким образом, они сочетают взгляд e/acc на то, что ИИ принесет революционные изменения, с пессимизмом противников хайпа относительно будущего, в котором ИИ позволят бесчинствовать. Многие в этой третьей группе склонны концентрироваться на сценариях судного дня, включая идею о том, что системы ИИ вытеснят нас в дарвиновской борьбе за выживание.[*6] Они предлагают нам задуматься о том, как завтрашние системы ИИ могут вызвать масштабные разрушения или даже угрожать вымиранием человечества — например, путем запуска ядерного оружия, взлома электростанций, порождения новых пандемий, злонамеренного скрытого присутствия в интернете в виде вредоносных вирусов или поиска неочевидных способов уничтожить нас ради достижения какой-нибудь тривиальной цели (скрепки упоминаются с завидной регулярностью). Поначалу эти опасения могут показаться излишне мрачными, но они подкреплены безупречно логичными мысленными экспериментами, призванными показать, что создание интеллекта — чрезвычайно рискованное занятие. Ведь даже если мы ставим перед системами ИИ, казалось бы, безобидные цели, агенты со сверхинтеллектом могут найти способы их достижения, которые случайно (или не совсем случайно) приведут к полному уничтожению всех нас. Предпочтительный термин для этого беспокойства — экзистенциальный риск (или X-риск).

В марте 2023 года движение против экзистенциальных рисков вышло в мейнстрим с открытым письмом, призывающим приостановить исследования LLM, чтобы надлежащим образом оценить опасности. Изначально письмо было опубликовано Институтом будущего жизни (Future of Life Institute),[*7] некоммерческой организацией, которая активно борется за безопасность ИИ с 2014 года (доисторическая эпоха, когда идея о том, что машины могут оспорить господство человека, была скорее научно-фантастическим тропом, чем предметом политической заботы). Письмо Pause AI содержало следующее весьма радикальное требование:

мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4. Эта пауза должна быть публичной и поддающейся проверке, а также