Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

мощь и потенциал сегодняшних LLM — ничто по сравнению с тем, какими они могли бы стать, если бы множество разнообразных систем ИИ могли координировать свои действия ради общей цели. Полагаю, нам стоит больше беспокоиться о том, что произойдет, если существующим системам ИИ задать разные цели и объединить их в сеть — подобно HFT-алгоритмам на фондовом рынке. Эта перспектива гораздо более тревожна, чем одинокий сверхразум с одним гигантским мозгом, зацикленный на производстве канцелярских скрепок.

И это разнообразие систем ИИ уже не за горами. Оно станет естественным следствием нашего стремления к персонализированным LLM, обученным досконально знать каждого из нас. Персонализация ИИ ознаменует новую эру, в которой нас будет сопровождать пестрое множество различных агентов на базе LLM, каждый из которых будет действовать как персональный ИИ-ассистент — цифровой представитель конкретного человека или группы. Параллельно с этим исследователи ИИ, вероятно, поймут, как создавать системы ИИ, способные более эффективно рассуждать и планировать в открытых средах, используя цифровые инструменты для совершения действий в сети от имени пользователя — уверенно перешагивая через «инструментальный разрыв», о котором говорилось выше. Эта вновь обретенная инструментальность позволит персонализированным системам ИИ получать информацию и предпринимать действия от имени пользователя, стремясь выполнить инструкции или удовлетворить его предполагаемые желания. В мире, где такие персонализированные системы ИИ станут коммерчески доступными, они, естественно, будут вынуждены взаимодействовать друг с другом — например, вести переговоры о ценах, согласовывать контракты или решать, какая пиццерия лучше всего подойдет для ужина. Это, в свою очередь, открывает путь к созданию совершенно новых параллельных социальных и экономических структур, основанных исключительно на действиях систем ИИ и потенциально неподконтрольных человеку.

Поэтому, на мой взгляд, мы движемся к миру децентрализованных систем ИИ, каждая из которых индивидуально настроена под определенный сегмент реальности конкретного пользователя. Наибольшую опасность в будущем будут представлять внешние эффекты (экстерналии), порождаемые непредсказуемой динамикой взаимодействия систем ИИ друг с другом. Мы знаем, что подобная динамика вполне реальна, ведь нечто аналогичное уже происходило с куда более примитивными агентами во время флеш-крэша. Алгоритмы могут попадать в безумные петли обратной связи везде, где они используются, включая торговые площадки, где вы сами делаете покупки. В 2011 году книга по генетике под названием The Making of a Fly была выставлена на продажу в интернет-магазине Amazon. У нее было пять положительных отзывов от покупателей — отличная рекомендация, но вряд ли достаточная, чтобы оправдать запрашиваемую цену в 23 698 655,93 доллара (то есть более 23 миллионов долларов плюс доставка)[*]. Вновь всему виной стал алгоритмический расчет цен: автоматические системы двух книготорговцев устанавливали цену чуть выше, чем у конкурента, что создало неконтролируемую инфляционную спираль, в результате чего книгу пытались продать по цене, почти в миллион раз превышающей ее реальную стоимость.

Что больше всего тревожит, и история, и биология учат нас: коллективная сила — будь то для совершения великих свершений или для сеяния смертоносных разрушений — гораздо сильнее зависит от социальной сплоченности, нежели от грубой силы или численности. Небольшие организованные отряды партизан переигрывают более многочисленные, но менее дисциплинированные армии; рой медоносных пчел способен прогнать незваного гостя, превосходящего их по размеру в тысячи раз, потому что они летят строем, образуя яростный жужжащий шар, к которому невозможно подступиться. Это значит, что, рисуя в воображении пугающие возможности ИИ, нам вовсе не обязательно заглядывать в будущее, когда 1,7 триллиона параметров будут казаться такой же мелочью, какой сегодня кажутся 1,7 миллиарда. Даже нынешние системы ИИ, наделенные различными целями и получившие возможность взаимодействовать, способны наделать немало бед. Когда персональные системы ИИ будут запущены для покупки и продажи товаров на eBay, отправки и получения писем, а также для разработки программ государственной политики и голосования по ним, — вот тогда нам стоит приготовиться к гораздо более бурной версии флеш-крэша.

Пропустить примечания

* http://edition.cnn.com/2011/TECH/web/04/25/amazon.price.algorithm/index.html.

43. Наше технологическое будущее.

На протяжении всех глав этой книги мы рассматривали новые системы ИИ под микроскопом. Мы изучили модели LLM — машины, способные генерировать естественный язык (а в последнее время также изображения и видео), — со всех основных сторон. Мы проследили их интеллектуальную историю: от первых классических догадок о том, как работает разум, до зарождения компьютерных технологий в двадцатом веке и революции глубокого обучения последних нескольких лет. Мы заглянули «под капот» современных систем ИИ и приоткрыли завесу тайны, разобрав вычислительные принципы, лежащие в основе сегодняшних гигантских нейронных сетей, и изучив, как трансформер творит свое особое волшебство. Мы всесторонне протестировали LLM, классифицировав их самые поразительные интеллектуальные фейерверки и самые неловкие промахи. Мы попытались взвешенно рассказать об их достоинствах и недостатках, лавируя на неровной почве между двумя догматическими лагерями, утверждающими, что ИИ — это либо лучшее, либо худшее из того, что когда-либо создавало человечество. Мы бились над сложными вопросами о том, что должны говорить LLM и как сделать так, чтобы они вливали в человеческую инфосферу больше истины, чем лжи. Мы попытались спроецировать быстро меняющиеся исследовательские тенденции на наше технологическое завтра, утверждая, что два явления — растущая персонализация и инструментальность систем ИИ — превратят пассивные языковые модели в активных ИИ-ассистентов. Наконец, мы критически рассмотрели самые дикие заявления о том, что ИИ представляет экзистенциальную угрозу для человечества, придя к выводу, что наиболее насущные риски — это побочные эффекты от текущих или ближайших разработок в области ИИ, а не вымышленные сценарии, в которых люди порабощены одиноким суперзлодеем-ИИ (с белым котом или без него).

Поэтому в заключение я, пожалуй, попробую резюмировать свой взгляд на самые спорные вопросы, затронутые в этой книге.

Природа когнитивных способностей LLM вызывает бурные споры. Моя позиция ясна: когнитивные процессы LLM не похожи на наши собственные и, вероятно, никогда не будут похожи. Это должно быть очевидно любому, кто взаимодействовал с ChatGPT или Gemini дольше пары минут. Общение с современными системами ИИ все еще немного напоминает свидание с «Википедией» — весьма познавательно, но не хватает человеческого тепла (хотя некоторые пользователи Replika могут с этим не согласиться). Современные LLM не похожи на людей во многих отношениях. Если человеческая память может быть фрагментарной, то их память резко обрывается на границе контекстного окна, что мешает им непрерывно познавать мир, как это делаем мы, и гарантирует, что они никогда не узнают пользователя по-настоящему (по крайней мере, пока). Сегодняшние LLM способны к глубоким рассуждениям по формальным задачам логики, математики и программирования, но у