Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Автоматизация финансовой торговли может показаться отличной идеей, но когда рынок наводняют роботы-трейдеры, начинают происходить странные вещи. Флеш-крэш 2010 года, вероятно, был вызван своего рода алгоритмическим эффектом «горячей картошки». Падение рынка заставляет множество алгоритмов быстро сбрасывать активы, из-за чего цены падают еще ниже, запуская новую волну распродаж. Активы перекидывают из рук в руки, как горячую картошку, из-за чего цены стремительно летят в штопор. Никто не знает, что спровоцировало счастливый отскок, но, предположительно, трейдеры-люди поняли, что цены иррационально занижены, и ухватились за возможность быстро заработать; в результате покупки возобновились, и рынок вернулся практически к прежнему уровню. Теоретически правила регулирования должны сдерживать алгоритмы высокочастотной торговли (HFT), но алгоритмический трейдинг остается серьезным фактором волатильности рынка, и флеш-крэши продолжают происходить (последний раз — в 2022 году).

Когда мы думаем о рисках сильного ИИ, мы обычно представляем себе коварного агента, который хочет захватить мир или случайно уничтожает всех нас, слишком рьяно выполняя то, о чем его попросили. Это легенда о сверхразумном производителе скрепок, который неуклонно следует своей канцелярской программе, вооружившись упрямой решимостью и бесконечным запасом оцинкованной стальной проволоки. Но в действительности изменить мир — к лучшему или к худшему — почти всегда удавалось группам, а не одиночкам. Силы модернизации, двигатель создания богатства, триумфальное шествие научных знаний, столкновение цивилизаций, разрушение естественной среды обитания, объединение всего человечества в единую сеть — все это коллективные усилия. Этим колоссальным переменам мы обязаны нашей человеческой способности координировать свои действия в группах, вместе создавая общества, экономики и политические системы. Социальная координация позволяет нам безмерно увеличивать силу индивидуальных действий, что ведет как к созидательным, так и к разрушительным последствиям.

Именно в этом, конечно, и кроется истинная причина того, почему люди, а не жуки-навозники или антилопы, создали передовые технологии и культуру: сила наших коллективных действий затмевает все, что любой отдельно взятый человек мог бы сделать в одиночку. Так что, если вы придете в зоопарк и увидите тигров и бабуинов за решеткой, у вас может возникнуть искушение применить экстраполяционный принцип и подумать, будто смотрителем зоопарка всегда становится самый разумный агент. Но человек-смотритель не ловил животных, не вез их через полмира и не вешал замки на клетки в одиночку. Господство человека на планете — это результат групповых усилий. Один алгоритм высокочастотной торговли создает едва заметную рябь на финансовом пруду, тогда как коллективные действия множества HFT порождают цунами ценовой волатильности, способное перевернуть всю мировую экономику. То же самое происходит и с силами интеллекта. Реальные возможности — как и реальные поводы для беспокойства — связаны с тем, что может произойти, когда системы ИИ начнут взаимодействовать друг с другом.

Главная причина для беспокойства заключается в том, что даже самые примитивные агенты могут в буквальном смысле сворачивать горы, когда действуют слаженно и скоординированно. Африканский вид термитов Macrotermes bellicosus, к примеру, едва ли обладает тем, что можно назвать мозгом, — его нервная система построена на децентрализованной сети ганглиев, которые работают как простейшие переключатели, выдавая крайне стереотипные реакции на внешний мир. Однако, работая в команде, эти термиты превращаются в титанов терраформирования: миллионные популяции образуют пустынные колонии, которые коллективно строят термитники высотой до десяти метров (настоящие Гималаи для термита!) и уходящие глубоко под землю — поразительный пример природного инженерного искусства. Пример с термитами, как и случай с флеш-крэшем, напоминает нам о том, что системы агентов могут оказывать колоссальное влияние даже при отсутствии какой-либо четко определенной цели. Отдельные термиты не пытаются строить небоскребы, равно как и HFT-алгоритмы не стремятся обрушить мировую экономику. Экономисты используют термин «экстерналия» (внешний эффект) для обозначения непреднамеренных побочных последствий коллективного поведения, таких как загрязнение воздуха, когда мы пытаемся согреться, или дорожные заторы, парализующие наши города, когда мы спешим на работу. Когда системы ИИ начнут действовать коллективно, мы рискуем спровоцировать экстерналии, на фоне которых флеш-крэш стоимостью в триллион долларов покажется бурей в стакане воды. Но эти побочные эффекты вряд ли станут прямым следствием целей, которые мы ставим перед ИИ. Это будут сетевые эффекты — непредвиденные явления, возникающие при взаимодействии множества автономных систем в цифровой экосистеме, влекущие за собой совершенно непредсказуемые последствия.

Люди демонстрируют самое сложное коллективное поведение на Земле: наш высочайший небоскреб, башня Бурдж-Халифа в Дубае, в шестьдесят девять раз выше самого высокого из известных термитников, и, в отличие от любых гнезд насекомых, на его семьдесят шестом этаже есть плавательный бассейн. Люди способны координировать свои действия столь удивительным образом благодаря инновации, которая — еще года два назад — оставалась уникальной особенностью нашего вида. Мы можем координировать усилия, потому что разговариваем друг с другом на естественном языке, обмениваясь идеями, вырабатывая общие цели и убеждая других присоединиться к взаимовыгодным начинаниям (см. часть 2). Язык позволяет разумным агентам выражать свои мысли в едином формате, благодаря чему целое становится гораздо больше суммы его частей. Язык позволяет человеческому интеллекту быть децентрализованным: каждый из нас знает лишь о крошечном фрагменте мира, но, соглашаясь действовать сообща, мы функционируем коллективно, как наш собственный (пусть и довольно сварливый) сверхразум. Человеческий интеллект — это коллективный интеллект.

Таким образом, господство человека на планете обусловлено нашей способностью к самоорганизации, а не гениальностью какого-то отдельного индивида. Именно наше разнообразие, а не однородность позволяет нам господствовать над животными с более длинными ногами и более острыми когтями. Это отличает нас от нынешних ведущих систем ИИ, которые создаются исключительно как централизованный разум. Идея, движущая современным развитием ИИ, заключается в том, что мы можем дистиллировать все знания в единую систему — монолитного оракула, который дает одинаковые, устраивающие абсолютно всех ответы. Как мы уже обсуждали в предыдущих разделах, именно поэтому большие языковые модели, такие как GPT-4 и Gemini, столь же гладки и безлики, как профессиональные политики. Они не знают и знать не хотят, кто вы такой, — их обучали под обобщенного (западного) пользователя на том конце чата. Даже если в обучающих данных звучит миллион разных голосов, этот гул гомогенизируется в процессе тонкой настройки, чтобы придать модели единый, предсказуемый модус речи и поведения. Одинокий пустынный муравей, отделенный от своей колонии, представляет собой едва функционирующую биологическую единицу, точно так же как большинство людей, оказавшись в одиночестве на необитаемом острове, с трудом смогли бы просто выжить, не говоря уже о строительстве впечатляющей многоэтажной резиденции. Так что