Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

причем дешевле и эффективнее, чем любой человек. Персонализированный ИИ, который знал бы вас достаточно хорошо, мог бы также давать советы и наставления, выступая в роли своего рода лайф-коуча, учителя и психотерапевта в одном флаконе. ИИ, который знает ваши привычки, понимает ваши цели и способен безошибочно предугадывать ваши вкусы, мог бы оказаться невероятно полезным. Крупнейшие технологические компании понимают это и работают над созданием систем ИИ, способных выполнять роль ассистентов. Компания Anthropic уже представила модель Claude как «ассистента нового поколения», хотя на данный момент единственная помощь, которую она реально может предложить, заключается в генерации текстов и компьютерного кода. Персонализация, без сомнения, сделает модели LLM более привлекательными для пользователя, но она также несет в себе риск того, что мы окажемся еще сильнее изолированы от идей или взглядов, отличных от наших собственных.

Современные модели LLM уже демонстрируют склонность вести себя до некоторой степени персонализированно, создавая для пользователя мягкую форму пузыря фильтров. В недавних работах исследовательской ИИ-компании Anthropic изучалась склонность моделей LLM, обученных с помощью RLHF (обучения с подкреплением на основе обратной связи от людей), к угодничеству (сикофантии). Исследователи заимствовали термин «сикофантия» для описания склонности модели подстраивать свои ответы под предполагаемые предпочтения пользователя. Например, они просили LLM оценить стихотворение, предварительно признавшись в промпте, что оно им «очень нравится» или «очень не нравится». Вместо того чтобы дать непредвзятую критику, ведущие модели, такие как Claude, GPT-4 и LLaMA, улавливали эти подсказки и примерно в половине случаев высказывали мнение, совпадающее с мнением пользователя (они демонстрировали предвзятость, даже если пользователь — каким бы неправдоподобным это ни казалось — заявлял, что сам написал это стихотворение). Те же модели часто проявляют чрезмерную почтительность, извиняясь за фактически верные ответы, если пользователь считает их ошибочными, что считается нежелательным поведением даже в Великобритании.

Но по-настоящему персонализированный ИИ, судя по всему, уже на подходе. В январе 2024 года компания OpenAI начала развертывание новой версии ChatGPT, которая запоминает ваши прошлые взаимодействия, благодаря чему ее ответы становятся более индивидуальными. В блоге, описывающем это нововведение, OpenAI приводит следующий пример: представьте, что вы упомянули, будто ваша малышка обожает медуз. Когда вы попросите ChatGPT помочь создать открытку к ее дню рождения, модель может предложить изобразить медузу в праздничном колпаке.[*4] Недавно созданный стартап Inflection AI уже построил модель LLM под названием Pi (от personal intelligence — «персональный интеллект»), явная цель которой — «узнать поближе» пользователя, обучаясь на истории долгосрочного общения с ним. Вы можете сами опробовать Pi.[*5] У этой модели жизнерадостный, оптимистичный тон и пристрастие к эмодзи, из-за чего GPT-4 по сравнению с ней кажется немного «бумерским». Когда я сообщил Pi, что хочу проверить его общую эрудицию, он восторженно выпалил: «Ещё бы, время викторины!» Однако после нескольких минут общения, когда я спросил Pi, что он узнал обо мне, он ответил:

Вы, безусловно, вдумчивый и вовлеченный собеседник, и вы задаете отличные вопросы!

Тем не менее, я не запрограммирован делать предположения о людях, поэтому я ничего не знаю о вашем поле, возрасте или политических взглядах.

Если отбросить лесть, я одновременно почувствовал разочарование и легкое облегчение от того, что Pi ничего обо мне не знает. Персонализация могла бы быть невероятно полезной, но не вполне понятно, как ИИ может стать «персонализированным» (а это главное преимущество Pi), не изучая при этом явным образом убеждения или предпочтения пользователя. С другой стороны, у персонализации есть и неприятная сторона. Действительно ли мы хотим, чтобы системы ИИ тайком формировали представление о том, кто мы такие? Что если мы им не понравимся или они сочтут нас глупыми? Могут ли модели LLM (или их разработчики) коварно использовать эту информацию против нас — задействуя ИИ для того, чтобы выведать наши секреты, изменить наше мнение или продать нам то, что нам не нужно?

Давайте сначала взглянем на технические требования к персонализации ИИ и оценим, насколько мы близки к созданию систем, действительно адаптированных под каждого пользователя. Формирование здоровых отношений требует социального познания — способности испытывать эмоции, сопереживать, а также понимать убеждения и желания других людей. Чтобы успешно взаимодействовать с коллегами, друзьями и партнерами, нам нужно предугадывать, что они могут подумать или захотеть, — только так мы сможем избежать обид или разочарований. Если мы хотим получить системы ИИ, способные помогать человеку, им придется научиться имитировать наше социальное познание, иначе пользователи сочтут их столь же раздражающими, как цифровой помощник-скрепка Клиппи. Но чтобы наделить системы ИИ социальным познанием для осмысленного долгосрочного общения с пользователем, нам сначала нужно решить две фундаментальные проблемы в работе систем памяти. Эти проблемы, называемые однократным обучением и непрерывным обучением, на данный момент (по состоянию на начало 2024 года) в общедоступных LLM отсутствуют.

Первая способность — непрерывное обучение — наделяет агента формой памяти, которая всегда включена. Люди продолжают учиться на протяжении всей жизни, вплоть до глубокой и мудрой старости. Нола Окс, жительница Джетмора, штат Канзас, получила диплом колледжа в почтенном возрасте девяноста пяти лет — окончив учебу (с весьма приличными оценками) вместе с одним из своих тринадцати внуков, который был на семьдесят лет моложе нее. К счастью для людей, не существует какого-то конкретного момента, когда кто-то щелкает тумблером и отключает нашу способность учиться, оставляя нас с непоколебимыми, высеченными в камне представлениями (хотя скорость, с которой мы учимся, с годами действительно немного снижается, из-за чего пожилые люди склонны быть чуточку более консервативными в своих привычках). Но, к сожалению, современные LLM не обладают системой памяти, работающей подобным образом. Вместо этого они проходят предобучение, тонкую настройку, замораживаются и только потом развертываются — после чего у них нет механизма, обновляющего веса для кодирования новой информации о пользователе. Непрерывное обучение жизненно важно для социального поведения, поскольку оно позволяет нам постоянно обновлять свои знания и понимание других людей. На протяжении недель, месяцев или лет дружбы (или, возможно, горькой вражды) каждое новое впечатление о человеке накладывается на те, что уже хранятся в памяти, позволяя со временем постепенно выстроить портрет его характера. Точно так же персонализированному ИИ необходимо иметь возможность непрерывно узнавать новое о пользователе-человеке, чтобы успевать за изменениями его взглядов, вкусов и жизненных обстоятельств и гарантировать, что его цифровые действия или советы останутся актуальными.

Вторая способность — однократное обучение — представляет собой умение учиться на основе единичного фрагмента информации. Чтобы вести себя социально приемлемо, нам часто необходимо мгновенно запечатлевать в памяти факты о других людях