Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

или фиксировать особенности их поведения или характера. Когда вас кому-то представляют, имеет смысл постараться запомнить имя этого человека (второго шанса может и не представиться). Если друг делится с вами чем-то сокровенным — например, тем, что в детстве потерял мать, до смерти боится жуков или питает непреходящую любовь к фисташковому джелато, — вы захотите сохранить эту информацию в памяти, чтобы избежать (даже спустя долгое время) бестактного, брошенного вскользь замечания, а в идеале — порадовать его отличным выбором десерта в будущем. Персонализированному ИИ необходимо будет сохранять детали прошлых разговоров, чтобы записывать в память наши симпатии и антипатии и выбирать подходящие слова и действия, даже если с тех пор прошли недели или месяцы. Однако, к сожалению, модели LLM представляют собой глубокие нейронные сети, которые обучаются крошечными шажками на миллионах повторяющихся образцов данных. Они не способны естественным образом запоминать информацию после всего лишь однократного предъявления им какого-либо факта или утверждения, и поэтому персонализированному ИИ потребуются новые системы памяти, обладающие достаточной гибкостью для обучения с одного раза.

Люди (и, вероятно, другие животные) способны учиться обоими этими способами благодаря тому, что рождаются с высокоразвитым аппаратом памяти. Замечательным биологическим решением обеих этих проблем памяти является гиппокамп — область мозга в форме морского конька, расположившаяся прямо под корой (слоем покрывающего ее «серого вещества», которое особенно велико у людей и других приматов). Нейроны гиппокампа в ходе эволюции приобрели способность к быстрым синаптическим изменениям, что позволяет им мгновенно формировать новые воспоминания без необходимости в утомительном повторении, замедляющем обучение искусственных нейронных сетей. На самом деле люди, которым не повезло получить повреждение гиппокампа (из-за чрезмерно радикальной операции на мозге, аневризмы, сильного удара по голове или приступа энцефалита), совершенно не способны формировать новые воспоминания о единичных событиях — состояние, клинически известное как антероградная амнезия. Если вы представитесь пациенту с глубокой антероградной амнезией, а затем отойдете на минутку в уборную, то к моменту вашего возвращения он не будет иметь ни малейшего представления о том, кто вы такой (эта симптоматика была показана в неонуарном триллере «Помни», хотя главный герой ошибочно называет это расстройство «потерей кратковременной памяти»). ChatGPT и другие LLM в настоящее время страдают от аналогичного ограничения: они начинают каждое новое взаимодействие с чистого листа, ничего не зная о вас, и не помнят ничего из того, что вы сказали за пределами их контекстного окна, как будто видят вас впервые при каждом входе в систему. ChatGPT фактически страдает антероградной амнезией — с той оговоркой, что его активный след памяти о происходящем по объему примерно равен книге, что гораздо щедрее, чем полминуты или около того, характерные для человека с амнезией.

По-настоящему персонализированный ИИ станет возможным только тогда, когда исследователи поймут, как оснастить LLM системами долговременной памяти по типу гиппокампа. Конечно, даже если глубокие сети обучаются медленно, простое кодирование новой информации с одного раза — тривиальная задача для современных компьютеров. Именно это вы и делаете всякий раз, когда нажимаете кнопку «сохранить», чтобы записать файл на жесткий диск ноутбука. Так что сохранить прошлые разговоры с пользователем во внешней базе данных в качестве дешевого аналога однократного кодирования было бы делом нехитрым. На самом деле исследователи уже придумали хитроумные способы привлечения внешних источников информации для улучшения ответов LLM. Один из таких приемов, известный как генерация, дополненная поиском (RAG), позволяет моделям извлекать информацию из внешней базы данных (например, скачанной Википедии) с помощью метода сопоставления шаблонов. В RAG каждый запрос сопоставляется с фрагментами исходного текста из базы данных, которые извлекаются дословно и вставляются непосредственно в контекст.[*6] Это позволяет модели использовать память на основе конкретных примеров (извлеченных фрагментов текста), чтобы подтолкнуть ее к наиболее подходящему ответу. Таким образом, метод вроде RAG можно было бы использовать для извлечения релевантной информации из репозитория прошлых разговоров (включая, например, то самое судьбоносное признание в любви к мороженому), точно так же, как люди прочесывают свою память в поисках фактов о своих собеседниках, чтобы вести себя вежливо и социально приемлемо.

Однако существенным ограничением памяти на основе конкретных примеров является то, что она может быстро переполняться. Память, работающая как база данных, увеличивается в объеме с каждым новым актом сохранения, подобно списку покупок, который становится все длиннее и длиннее с каждым добавленным пунктом. Большие хранилища памяти неэффективны, поскольку в них труднее найти то, что нужно (представьте себе поиск по двадцатистраничному списку покупок, чтобы проверить, нужны ли вам консервированные помидоры). В LLM, где данные могут состоять из тысяч взаимодействий и миллионов токенов, это сделало бы процессы памяти дорогостоящими и медленными. Но и здесь природа в очередной раз придумала гениальное решение. Хотя гиппокамп жизненно важен для формирования биологической памяти, он не является основным хранилищем прошлого опыта. Вместо этого он служит лишь сортировочным центром для воспоминаний, где они задерживаются ненадолго, прежде чем консолидироваться в неокортексе. Консолидация — вот где разворачивается главное таинство памяти. Во время сна или спокойного отдыха воспоминания, временно сохраненные в гиппокампе, проигрываются снова и снова, создавая то самое бесконечное повторение, которое необходимо для фиксации информации в весах целевой нейронной сети. В случае живых организмов этой целью является неокортекс, который постепенно «обучается» в процессе такого повторного воспроизведения интегрировать информацию из хранилища гиппокампа, как если бы прошлое событие происходило снова и снова в реальном времени. Консолидация — это затяжной процесс, и лучше всего он протекает тогда, когда ничто другое не отвлекает, что и является одной из причин, почему большинство млекопитающих в ходе эволюции стали спать по многу часов в сутки. Никто не знает наверняка, но вполне вероятно, что странный круговорот сюрреалистических переживаний, происходящий во время сна, включая красочные сновидения и пульсацию странных, навязчивых и повторяющихся образов, — это субъективное эхо запущенного процесса консолидации.

И хотя никто не знает точно, как наделить LLM столь сложной системой памяти, основные принципы в целом понятны. Во-первых, нам нужно сохранять в буфере обрывки истории бесед — особенно те моменты, когда пользователь сказал что-то интересное (у животных гиппокамп предпочитает сохранять неожиданный опыт, вот почему из вчерашнего дня вы помните в основном самые странные эпизоды). Когда в буфере накопится достаточно большая порция опыта, ее можно использовать для точной настройки весов сети с помощью обучения с учителем (SFT), которое обучает LLM предсказывать, что скажет именно этот конкретный пользователь (а не какой-то абстрактный юзер). Применение SFT таким образом помогло бы LLM генерировать ответы, звучащие более похоже на речь этого конкретного пользователя, подобно тому