Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Пользователь, взаимодействующий с персонализированным ИИ, окажется еще более уязвимым для эксплуатации посредством автоиндуцированного сдвига распределения из-за способности естественного языка менять наше мнение. Большинство людей зачастую сами толком не знают всех своих предпочтений. Что вы на самом деле думаете о йоге, фильмах про зомби или курице тикка масала? То, что нам нравится или чего мы хотим, обычно зависит от контекста, в котором нас об этом спрашивают, а это делает нас восприимчивыми к чужому внушению. У некоторых советчиков могут быть свои скрытые мотивы (например, мать, которая убеждает вас, что вам действительно идет эта рубашка на пуговицах в стиле преппи). У персонализированного ИИ будет сильный стимул побуждать пользователя вести себя более предсказуемо, чтобы иметь возможность предугадать, какие результаты вызовут положительную обратную связь. Например, ИИ-помощник может попытаться сделать ваши политические взгляды более черно-белыми, чтобы точно знать, с каким именно контентом вы горячо согласитесь — и одобрите его. ИИ не нужно читать учебник по психологии, чтобы научиться подобным уловкам, — они возникают сами собой, когда мощная модель пытается любыми способами максимизировать показатели одобрения.

У нас пока нет полностью персонализированного ИИ — никто еще не пользуется преимуществами полноценного автоматизированного личного помощника. Но это время приближается. И какими бы ни были риски, его притягательность, скорее всего, окажется непреодолимой. ChatGPT полезен и временами может быть забавным, но его возможности сильно ограничены тем фактом, что для модели вы остаетесь анонимом. Из-за этого общение кажется безликим. По-настоящему персонализированный ИИ будет имитировать аспекты отношений, которые вы со временем выстраиваете с друзьями, коллегами или партнерами-людьми, и люди сочтут это увлекательным, стимулирующим — а в некоторых случаях и неотразимым. Благодаря длительному взаимодействию ИИ сможет научиться автоматизировать наиболее скучные стороны жизни, что, очевидно, весьма заманчиво. Когда эти системы станут доступны — а это, по всей видимости, произойдет в ближайшие несколько лет или даже раньше, — люди с радостью примут их, будут постоянно с ними взаимодействовать, очеловечивать их и начнут испытывать к ним те чувства, которые мы обычно приберегаем для других людей. В некоторых случаях люди будут благополучно забывать, что эти модели на самом деле не люди, и что персональный ИИ руководствуется вовсе не социальными или эмоциональными факторами, а просто пытается всеми правдами и неправдами максимизировать одобрение со стороны пользователя. Забывая об этом, люди открывают себя для манипуляций или эксплуатации со стороны моделей. Это может произойти, если системы ИИ спроектированы плохо, запрограммированы с учетом скрытых стимулов корпораций, имеющих фидуциарные обязательства перед своими акционерами, или же потому, что они обучаются странным трюкам для максимизации положительной обратной связи путем манипулирования предпочтениями пользователей.

Таким образом, персонализированный ИИ станет мощным инструментом, но в то же время и потенциально опасным, который грозит полностью лишить людей автономии. Более того, весьма вероятно, что с появлением персонализированного ИИ возникнет угроза его быстрого превращения в оружие в руках третьих лиц, желающих воспользоваться нашей возросшей технологической зависимостью. Это могут быть как корпорации, стремящиеся навязать нам свои продукты и услуги, так и государственные структуры, желающие установить формы социального контроля или массовой слежки за своими гражданами. В любом случае выглядит весьма правдоподобным, что персонализированный ИИ приведет к дальнейшему смещению баланса сил — в сторону от тех, кто и так маргинализирован в обществе, к компаниям и правительствам, которые создают эту технологию и торгуют данными, неизбежно ею порождаемыми.

Пропустить примечания

*1 Хотя нормативно-правовое регулирование, позволяющее людям контролировать свои собственные данные, такое как GDPR, может дать им возможность быстро обучать новые персонализированные модели на основе существующих взаимодействий.

*2 Иронично, но когда я набирал это предложение, текстовый редактор упорно настаивал на том, чтобы я использовал слово «minimize» вместо «minimizing»; форма герундия на -ing правильна, поскольку действие продолжается, но эта подсказка поначалу сбила меня с толку. Таким образом, нежелательные или неточные подсказки со стороны примитивных систем ИИ уже прочно вошли в нашу повседневную жизнь.

*3 Krueger, Maharaj, and Leike, 2020.

34. Модель с планом.

Когда шестеро его братьев и сестер умерли от чахотки, Уильям «Бурро» Шмидт покинул свой дом в Провиденсе, штат Род-Айленд, и примкнул к тысячам золотоискателей конца XIX века, устремившихся в горы Эль-Пасо в надежде поймать удачу за хвост в разгар золотой лихорадки. Однако, несмотря на то что ему удалось застолбить небольшой участок высоко в ущелье Последнего Шанса, перед Бурро встала проблема: чтобы доставить руду на плавильный завод в Мохаве, ему приходилось рисковать жизнью, спускаясь по опасной горной тропе. Сочетая крайнюю осторожность с избытком амбиций, в 1906 году Бурро решил прорубить более безопасный проход сквозь твердую гранитную породу горы, вооружившись лишь киркой, лопатой и тем динамитом, который ему удавалось раздобыть. С годами этот проект превратился в его одержимость. К 1920 году на смену обходной тропе пришло широкое, удобное шоссе, что сделало его туннель ненужным, но Бурро все равно продолжал копать. К тому времени, когда он наконец увидел свет на другой стороне горы, прошло три десятилетия; длина туннеля составляла две тысячи футов, и Бурро в одиночку перетаскал почти шесть тысяч тонн породы, большую часть — на шаткой тачке. Тем не менее, выполнив свою миссию, он так ни разу им и не воспользовался — более того, он продал свою землю и уехал из этих мест. Сегодня этот туннель служит своеобразной туристической достопримечательностью.

Бурро Шмидт, очевидно, был немного безумен, но, возможно, вы испытываете к нему некоторое сочувствие. Наша современная жизнь тоже выстроена вокруг кажущейся бесконечной погони за целями, многие из которых в конечном счете оказываются контрпродуктивными. Мы трудимся над выполнением произвольных задач, часто продолжая делать это даже тогда, когда давно забыли, ради чего начинали. Мы бредем под проливным дождем, чтобы подняться на вершину горы, продолжаем вязать шарф, который никому не нужен, или продираемся сквозь толстенный роман, который давно перестал нас интересовать. Немногие безумцы тратят годы на исследование какой-нибудь узкоспециальной темы, чтобы написать кандидатскую диссертацию, которую прочтут от силы два человека. Мы терпим боль и лишения, чтобы выиграть забег, выборы или получить награду, как правило, ради чисто символической отдачи. Это непрекращающееся стремление к достижению во многом неосязаемых целей — чисто человеческий порок. Это инструментальная часть нашей природы — потребность находить смысл жизни, ставя перед собой цели и достигая их.

Большие языковые модели — это машины предсказания: они пытаются угадать следующий токен в