Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Несколько недель спустя под письмом стояло уже более 33 000 подписей, включая поддержку таких тяжеловесов сообщества ИИ, как Йошуа Бенжио (один из так называемых «крестных отцов» ИИ, с чьей новаторской работой в области NLP мы познакомились во второй части) и Стюарт Рассел, соавтор классического учебника по методам ИИ, на котором вырастает каждый студент профильного вуза (и который стоит на их полках прямо рядом с трудом Саттона).[*8] Разумеется, никакой паузы не случилось, да и всерьез ее никто не планировал. Развитие ИИ неумолимо подталкивается вперед жестокой гонкой между гигантскими технологическими компаниями, соперничающими за право первыми выпустить самую ценную технологию из когда-либо созданных — ИИ общего назначения. Проигрыш в этом соревновании почти наверняка станет экзистенциальной угрозой для так называемой «Большой пятерки» американских технологических компаний (Alphabet, Amazon, Apple, Meta и Microsoft). Поэтому даже тридцать три миллиона подписей (не говоря уже о 33 000), скорее всего, никак не повлияли бы на вероятность реальной паузы в исследованиях ИИ. Тем не менее, письмо Pause AI всколыхнуло сообщество специалистов по безопасности ИИ, совершенно разумно призвав к изучению рисков ИИ, принятию мер по их смягчению и созданию нормативно-правовой базы, аналогичной той, что уже существует для других мощных технологий, таких как ядерная энергетика. Появилось множество некоммерческих и правительственных организаций для мониторинга возникающих рисков в сфере ИИ, которые всерьез рассматривают вероятность того, что будущий ИИ может представить серьезную угрозу для всех нас.[*9]

Одной из групп, демонстративно не подписавших письмо, стали те, кто отметает заявления о мощи ИИ как безосновательное и раздутое хвастовство. Например, один из соавторов статьи о «стохастических попугаях» поспешил заявить, что письмо «насквозь пропитано #AIhype… и помогает тем, кто создает эти штуки, их же и продавать».[*10] На самом деле, хотя можно было бы подумать, что сторонники борьбы с #AIhype и противники экзистенциальных рисков (X-risk) найдут точки соприкосновения в своем стремлении к надлежащему регулированию ИИ на благо всех людей, они готовы вцепиться друг другу в глотки столь же яростно, как и противостоят сообществу e/acc, превращая споры вокруг этики ИИ в схватку трех сторон.

Основной спор в этой схватке на троих ведется вокруг того, о каком вреде ИИ нам стоит беспокоиться больше всего — о нынешнем или о будущем. Приверженцы лагеря противников #AIhype в основном обеспокоены нынешним глупым, но повсеместным внедрением глубокого обучения, особенно там, где оно посягает на священные идеалы прогрессивизма. Они утверждают, что вместо того чтобы восторгаться LLM, нам следует беспокоиться о программах распознавания лиц, которые тайно отслеживают ваше местоположение, об алгоритмах, принимающих непрозрачные («черноящичные») решения об отказе в ипотеке или пересадке почки, или о языковых моделях, которые по умолчанию считают врачей мужчинами, а медсестер — женщинами. Они указывают, что зацикленность на теоретических и потенциально далеких экзистенциальных рисках опасно отвлекает внимание от реального вреда, который наносится уже здесь и сейчас. Фокусируясь на научно-фантастических сценариях, которые могут никогда не реализоваться, мы отвлекаем ресурсы и энергию от устранения того хаоса, который ИИ создает уже сегодня.

Масла в огонь подливает и то, что многие обеспокоенные экзистенциальными рисками вдохновляются сомнительной философской концепцией под названием «лонгтермизм». Лонгтермизм — это идея о том, что цели человечества должны быть направлены на максимизацию благополучия не только всех ныне живущих, но и всех, кто когда-либо потенциально может родиться (упомянутый выше Институт будущего жизни тесно связан с этим движением). Философ Тоби Орд, чья книга 2020 года «На краю пропасти» доказывает, что угрозы со стороны ИИ превосходят любые другие бедствия, которые потенциально могут постичь человечество, определяет этот термин так: «Лонгтермизм […] всерьез воспринимает тот факт, что наше собственное поколение — лишь одна страница в гораздо более длинной истории, и наша самая важная роль может заключаться в том, как именно мы сформируем — или не сможем сформировать — эту историю».

Таким образом, для лонгтермистов любые шаги, снижающие риск вымирания, являются в высшей степени добродетельными, поскольку они повышают потенциальное «благосостояние» всех будущих жизней.[*11] Поэтому в катехизисе лонгтермизма даже самое незначительное снижение экзистенциального риска несоизмеримо важнее, чем, скажем, повышение уровня жизни миллионов людей, находящихся сейчас за чертой бедности, или попытки исправить историческую несправедливость в отношении цветного населения. Если вы богаты и привилегированны, лонгтермизм, очевидно, весьма удобен, поскольку избавляет вас от необходимости поддерживать меры, которые могли бы урезать ваше личное благосостояние, например повышение налогов. Сосредоточившись на узких вопросах безопасности ИИ, которые могут стать актуальными лишь через много лет (а не на более насущных проблемах вроде климатического кризиса), вы можете не испытывать чувства вины за то, что дважды в месяц летаете бизнес-классом на другой конец света. Поэтому он стал удивительно популярен среди исследователей ИИ и разнообразной сопутствующей публики.

Так что если вы думали, что область этики ИИ — это политическое минное поле, вы правы. Конечно, далеко не каждый, кого волнуют возможности, вред и риски, связанные с ИИ, аккуратно вписывается в одну из трех групп, которые я изобразил здесь в несколько карикатурном виде (хотя любому, кто заглядывает в Twitter/X, в это, возможно, трудно поверить). К счастью, многие понимают, что в каждой из этих трех позиций есть доля истины. Можно радоваться тому, как ИИ способен сделать нашу жизнь богаче, и в то же время сокрушаться, что его блага вряд ли будут распределены поровну. Беспокойство по поводу нынешнего вреда и будущих рисков ИИ — это не обязательно взаимоисключающие позиции. ИИ уже используется весьма тревожным образом — например, алгоритмическая предвзятость усугубляет существующее неравенство, когда системы распознавания лиц оказываются более чувствительными к европеоидным лицам, чем к лицам других расовых групп. Однако это не исключает того, что будущие системы ИИ окажутся еще более опасными, причем в таких формах, которые мы пока не можем себе представить. И независимо от того, как вы относитесь к лонгтермизму, вполне возможно, что создаваемые нами технологии выйдут из-под контроля. Нет причин отмахиваться от будущих рисков ИИ только потому, что изменение климата и социальная несправедливость кажутся более насущными и неотложными проблемами. Но лучший способ совладать с этими рисками — это внимательно изучить, как работают модели, и серьезно подумать о том, какими могут быть их потенциальные последствия, а не отвергать их с порога.

В этом заключительном разделе мы уделим некоторое внимание более пугающим прогнозам развития ИИ, включая как непосредственный вред в краткосрочной перспективе, так и апокалиптические сценарии «думеров», занимающие важное место в