Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Параллельно с этим нам потребуется буферизировать те случаи, когда пользователь давал модели обратную связь. Это может принимать одну из нескольких форм. Например, LLM могли бы учиться на основе нажатий кнопок, с помощью которых пользователь выражает явное одобрение или неодобрение высказывания. ChatGPT и Gemini уже предлагают маленькие значки «палец вверх» или «палец вниз» рядом с каждым ответом, на которые вы можете нажать, чтобы оставить положительный или отрицательный отзыв о том, что говорит модель. Если бы эти кнопки действительно помогали настроить модель под ваш образ мыслей — а не просто помогали, скажем, OpenAI или Google в их исследованиях, — то люди, вероятно, пользовались бы ими с большим энтузиазмом. В противном случае, как показано в одной научной статье, вы можете настраивать LLM непосредственно с помощью отзывов на естественном языке, точно так же, как мы подбадриваем других словами похвалы («молодец!»).[*7] Это полезно, поскольку эффект Элизы уже склоняет нас делать комплименты LLM, когда они предлагают особенно полезные ответы (я и сам время от времени поддаюсь этому соблазну — и, возможно, это не такая уж плохая идея, ведь есть свидетельства того, что GPT-4 дает более качественные ответы, если просить вежливо[*8]). В более широком смысле люди обожают давать социальный фидбек — даже на цифровых платформах, — что, конечно, и делает социальные сети столь затягивающими. Каким бы ни был конкретный формат, эта социальная обратная связь может храниться в памяти, а затем использоваться для проведения офлайн-RLHF в процессе консолидации, чтобы персонализированная модель вознаграждения постоянно обновлялась, отслеживая меняющиеся предпочтения пользователя. Это означало бы, что будущие высказывания модели с большей вероятностью заслужат одобрение этого конкретного пользователя (а не какого-то абстрактного), позволяя LLM подстраиваться под его индивидуальные предпочтения.

Модель, построенная по такому принципу, могла бы в теории фиксировать убеждения или вкусы пользователя — даже из случайных комментариев или брошенных мимоходом замечаний — и использовать их для подстройки своего будущего поведения ради максимального одобрения. Так, если при общении с персональным ИИ вы случайно упомянете о своей пылкой страсти к фисташковому джелато, эта информация временно сохранится в буфере памяти. Позже, во время консолидации, этот фрагмент беседы будет многократно извлекаться и проигрываться (возможно, получая приоритет, если он оказался неожиданным — например, если большинство людей предпочитает ванильное), и таким образом интегрируется в веса сети LLM в процессе точной настройки. В следующий раз, когда модель попросят порекомендовать мороженое для этого пользователя, токены, составляющие слово «фисташковое», будут иметь более высокую вероятность, чем токены для «манго» или «страчателла». Предположим, позже пользователь просит порекомендовать десерт, и модель предлагает запеченную «Аляску» с фисташками, на что тот с энтузиазмом отвечает: «Отличная идея!» Модель распознает позитивный тон ответа — и при следующей итерации точной настройки задействует обучение с подкреплением, чтобы гарантировать выдачу аналогичных результатов в будущем. Технические сложности, мешающие реализовать это на практике, наверняка будут устранены в самом ближайшем будущем. Так что даже если Pi пока остается довольно обезличенным, я не сомневаюсь, что вскоре мы увидим появление глубоко персонализированного ИИ.

Когда это произойдет, мы получим системы ИИ, перед которыми пользователи просто не смогут устоять. Последствия этого новшества волной прокатятся по обществу самым непредсказуемым образом. В конечном итоге люди могут начать отдавать предпочтение вкрадчивым, сладкоречивым системам, потакающим нашим устоявшимся вкусам или ограждающим нас от неудобной реальности. Это может лишить нас широты взглядов или сделать блаженно невежественными, подобно Труману Бёрбанку в его гигантском информационном пузыре. Что еще более коварно, как мы увидим в следующей главе, это может дать машинам такие рычаги контроля над нами, которые — с высоты сегодняшнего дня — кажутся слегка пугающими или даже жуткими.

Пропустить примечания

*1 https://reutersinstitute.politics.ox.ac.uk/digital-news-report/2023/dnr-executive-summary.

*2 www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/?sh=60795dcf6668.

*3 www.lxahub.com/stories/creepiest-examples-of-personalisation-and-how-to-avoid-the-trap.

*4 https://openai.com/blog/memory-and-new-controls-for-chatgpt.

*5 См. https://inflection.ai/.

*6 Lewis et al., 2021.

*7 Scheurer et al., 2022.

*8 https://medium.com/@lucasantinelli3/analysing-the-effects-of-politeness-on-gpt-4-soft-prompt-engineering-70089358f5fa.

33. Опасности персонализации.

Отношения между людьми строятся на доверии. Проводя время с другими, мы узнаем об их надеждах, желаниях, мнениях и убеждениях. По мере того как завязываются узы дружбы или возникает взаимное притяжение, мы негласно соглашаемся говорить и действовать во взаимном согласии. Это укрепляет доверие и порождает ожидания относительно того, как каждый должен вести себя по отношению к другому. Таким образом, развитие отношений идет рука об руку с возникновением взаимных обязательств. Отношения связывают нас обязательствами друг перед другом, и чем глубже эти отношения, тем сильнее обязательства. Эти связывающие нас узы — наши связи с другими людьми — и есть то, ради чего стоит жить. Однако отношения, воздвигнутые на фундаменте доверия, делают нас уязвимыми для эксплуатации. К несчастью, это отчетливо проявляется в случаях домашнего насилия, когда жертва абьюза часто не решается разорвать отношения с мучителем из-за огромных «невозвратных затрат» времени и сил, которые уже ушли на достижение взаимопонимания и доверия. Это может порождать патологические поведенческие циклы, в которых пострадавшая сторона мечется между отчаянием и надеждой на то, что обидчик исправится; это мешает ей уйти и начать все с чистого листа — динамика, которая служит центральной темой бесчисленных романов, пьес и фильмов.

Один из главных рисков заключается в том, что персонализированный ИИ может непреднамеренно породить патологические формы созависимости, при которых пользователь-человек начинает чувствовать себя обязанным искусственному агенту. Это может сделать людей уязвимыми для эксплуатации или манипуляций со стороны как самого ИИ, так и компаний, которые создают и внедряют этих автономных агентов. Давайте перенесемся на мгновение в будущее, где все технические препятствия волшебным образом преодолены, а полностью персонализируемая LLM доступна по подписке. Чтобы работать максимально эффективно, такая модель должна обучаться неделями, месяцами или даже годами с помощью социальной обратной связи: каждому пользователю придется потратить немало времени на то, чтобы научить модель предугадывать его предпочтения и понимать убеждения, хваля или порицая её словами либо нажимая на кнопки одобрения и неодобрения. Подобная обратная связь — это, конечно, именно то, как мы даем понять другим, чего мы хотим и что думаем: мы хмуримся, показывая непонимание, ставим лайк смешному посту в Twitter/X, угощаем послушного щенка лакомством или повышаем голос, когда дети ходят на головах. Предоставление социальной обратной связи другим — дело трудоемкое, но необходимое для здоровых отношений.

Представьте себе ситуацию, когда персонализированный ИИ перестает идти на сотрудничество.