Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

повестке экзистенциальных рисков. Мы рассмотрим некоторые антиутопические разработки, такие как военный ИИ, и зададимся вопросом, не облегчат ли большие языковые модели террористам или государствам-изгоям попытки посеять хаос.[*12] Наконец, мы попытаемся понять, ближе ли к реальности или к вымыслу фантастические представления о вырвавшемся из-под контроля интеллекте, и постараемся сделать это с минимальным упоминанием канцелярских скрепок.

Пропустить примечания

*1 Его презентацию можно посмотреть по адресу: www.youtube.com/watch?v=NgHFMolXs3U.

*2 https://a16z.com/the-techno-optimist-manifesto/.

*3 Breitbart News — альт-правое новостное издание, которое ранее возглавлял стратег Трампа Стив Бэннон.

*4 https://irisvanrooijcogsci.com/2023/01/14/stop-feeding-the-hype-and-start-resisting/.

*5 Bender et al., 2021.

*6 Hendrycks, 2023.

*7 https://futureoflife.org/.

*8 Рассел и Норвиг, 2020.

*9 Здесь стоит отметить, что я работаю на условиях частичной занятости в одной из таких организаций — Британском институте безопасности ИИ (UK AI Safety Institute), однако взгляды, выраженные в этой книге, принадлежат исключительно мне.

*10 https://threadreaderapp.com/thread/1640920936600997889.html.

*11 Разумеется, это опирается на предположение, что в среднем лучше родиться, чем не родиться. Чего мы, очевидно, никогда не сможем узнать наверняка. Это также игнорирует базовый нормативный принцип, согласно которому мы должны ценить краткосрочные приобретения и потери выше долгосрочных, поскольку существует риск того, что наши цели или система ценностей со временем изменятся.

*12 Отличный обзор см. в Hendrycks, Mazeika, and Woodside, 2023.

40. Убийцы, владеющие естественным языком.

Видео начинается со зловещей, наполненной помехами музыки, которую прерывает треск военной радиосвязи: на экране быстро сменяются кадры с солдатами в полной боевой экипировке, обороняющими опорный пункт на втором этаже в пыльной городской застройке. Плохие парни в балаклавах палят из РПГ, пока суровый закадровый голос объясняет опасности боев за каждый дом. Когда ситуация накаляется, солдаты панически требуют «вызвать Lanius». Рой дронов со стремительным жужжанием влетает в зону боя, ловко маневрируя на улицах и лестничных пролетах, самостоятельно вычисляя и уничтожая противника путем самоподрыва в непосредственной близости от него. Этот короткометражный фильм выглядит и ощущается как трейлер к малобюджетному боевику, действие которого разворачивается в зоне ближневосточного конфликта. Но это не так. На самом деле ролик представляет собой рекламу технологии автономных дронов-камикадзе, разработанной в Израиле, и его можно свободно посмотреть на YouTube[*1].

К счастью, купить Lanius на Amazon пока нельзя. Его производит компания Elbit Systems, специализирующаяся на оборонной электронике. Она предлагает «автономное сетевое боевое решение на базе роботизированных платформ и гетерогенных роев» — смертоносных летающих роботов, охотящихся стаей. Elbit — лишь одна из десятков компаний, которые в настоящее время разрабатывают системы искусственного интеллекта, способные принимать решение об убийстве без обязательного согласования с человеком. И эта реклама — не просто глянцевый буклет для многообещающего продукта. В 2021 году сообщалось, что Армия обороны Израиля использовала рой дронов в реальном бою в секторе Газа[*2], а в Ливии военный квадрокоптер уже применялся для выслеживания человеческой цели в полностью автоматическом режиме[*3]. Так называемые роботы-убийцы уже здесь. И они никуда не денутся — ни одна из военных сверхдержав, включая США, не поддерживает запрет на их развертывание.

Насколько нам известно, «под капотом» у Lanius нет языковой модели. Однако БЯМ уже находят применение в военных технологиях. В 2019 году американская фирма Palantir, основанная инвестором-бунтарем Питером Тилем, взяла под свой контроль инициативу Пентагона под названием Проект Maven. Ее цель — использовать ИИ для отслеживания, маркировки целей и ведения слежки без прямого участия человека. Общедоступные маркетинговые видеоролики Palantir демонстрируют, как БЯМ могут использоваться для ответов на запросы о типах и перемещениях войск противника, а также для выдачи инструкций на естественном языке для развертывания разведывательных беспилотников (например, «поставить задачу MQ9 заснять этот район»). Таким образом, мы уже живем в эпоху, когда БЯМ используются для сбора и интерпретации разведданных с поля боя, а также для прямого управления потенциально смертоносными автономными транспортными средствами и беспилотниками. Возможности БЯМ по обработке естественного языка, логическому рассуждению и анализу изображений делают их идеально подходящими для помощи людям в оперативном командовании и управлении в режиме реального времени. Можно представить, что вскоре БЯМ будут использоваться для отдачи команд на естественном языке рою дронов вроде Lanius, особенно с учетом того, что технологии синтеза речи теперь позволяют быстро озвучивать запросы вслух. Вызывает тревогу то, что, если системы ИИ наделят правом убивать, военачальники смогут избегать ответственности за гибель мирных жителей и военные преступления, что потенциально приведет к менее осмотрительному военному планированию и большему сопутствующему ущербу.

Смертоносное автономное оружие все еще находится на начальном этапе своего развития. Однако геополитическая необходимость, бездонные оборонные бюджеты и отсутствие многостороннего соглашения о допустимых правилах использования делают весьма вероятным быстрый рост масштабов применения ИИ на поле боя в ближайшие годы. Существует мнение, что оружие с ИИ станет третьей революцией в военном деле после пороха и ядерного оружия[*4]. Хотя люди, конечно, вполне способны сеять смерть и разрушение без помощи ИИ, смертоносное автономное оружие, скорее всего, сделает конфликты более стремительными и опасными. Непредсказуемое поведение систем ИИ может ошибочно спровоцировать катастрофическое столкновение, подобно военному суперкомпьютеру WOPR (War Operation Plan Response) в фильме 1980-х годов «Военные игры», которого персонаж Мэттью Бродерика случайно убеждает начать термоядерную атаку. Если системы ИИ будут обучены автоматически наносить ответный удар в случае зафиксированной угрозы нападения, конфликт может обостриться гораздо быстрее, чем при участии даже самых вспыльчивых командиров-людей. Уже есть множество примеров, когда катастрофу удавалось предотвратить лишь благодаря почти чудесному благоразумию человека. В 1983 году, когда на экраны вышел фильм «Военные игры», советский подполковник, несший дежурство в ядерном бункере, проигнорировал предупреждение о приближении нескольких ядерных ракет к Советскому Союзу (потому что это просто показалось ему неправильным) и тем самым в одиночку предотвратил уничтожение человеческой цивилизации в ядерной войне[*5]. ИИ, запрограммированный на то, чтобы просто действовать, не ведал бы подобных сомнений, и сегодня нас бы уже не было в живых, чтобы рассказать эту историю.

БЯМ также могут использоваться для содействия масштабным разрушениям со стороны негосударственных субъектов. К несчастью для всех нас, мир полон людей или групп, которые втайне мечтают устроить ужасающий теракт или масштабную диверсию, обычно ради привлечения внимания к какому-либо радикальному движению. Один из факторов, удерживающих их от этого, — отсутствие необходимой квалификации. Создание мощных бомб, конструирование смертоносных патогенов или проведение сложных кибератак требуют специальных технических знаний или научного образования уровня магистратуры или аспирантуры, на получение которых могут уйти годы подготовки. По некоторым оценкам, во всем мире насчитывается всего около 30