Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

способность преследовать цели в открытых средах остается весьма ограниченной. Пока что существует риск использования LLM в качестве инструментов для эскалации конфликтов и масштабирования преступлений, но они еще не готовы взять на себя роли хефе хунты или капо преступного мира без участия человека в контуре управления.

Пропустить примечания

*1 www.youtube.com/watch?v=G7yIzY1BxuI.

*2 www.newscientist.com/article/2282656-israel-used-worlds-first-ai-guided-combat-drone-swarm-in-gaza-attacks/.

*3 www.foxnews.com/world/killer-drone-hunted-down-a-human-target-without-being-told-to.

*4 www.theatlantic.com/technology/archive/2021/09/i-weapons-are-third-revolution-warfare/620013/.

*5 Даунинг, 2018.

*6 https://dam.gcsp.ch/files/doc/gcsp-geneva-paper-29-22.

*7 В более свежем исследовании от OpenAI были обнаружены слабые доказательства того, что GPT-4 более полезен, чем поиск в интернете, в плане помощи людям в получении знаний, потенциально имеющих отношение к биологическим угрозам: https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation.

*8 Москаль и др., 2023.

*9 Дасгупта и др., 2023.

41. Выход из-под контроля.

«Жизнь 3.0» — это книга 2017 года, в которой исследуются варианты довольно безумного будущего, ожидающего нас, если мы когда-нибудь создадим истинный сверхинтеллект. Написанная Максом Тегмарком, известным физиком из Массачусетского технологического института (MIT), соучредителем Института будущего жизни и близким другом технологической элиты вроде Ларри Пейджа и Илона Маска, она начинается с описания сценария, который лишает сна наиболее впечатлительных исследователей ИИ. Тегмарк представляет вымышленную ИИ-компанию под названием «Омеги», которая создала систему ИИ под названием «Прометей», способную писать код для улучшения самой себя. К десяти часам утра, оптимизировав собственный исходный код и исправив несколько багов, «Прометей» начинает превосходить прежнюю версию себя в стандартных тестах производительности. Разумеется, его навыки программирования тоже совершенствуются, поэтому следующий цикл саморазвития оказывается еще более эффективным, запуская обратную связь, подстегивающую рост интеллекта. К середине дня он играючи справляется с любыми предложенными тестами, а к наступлению темноты «Омеги» тайком внедряют его в интернет в качестве краудсорсингового работника, и он начинает грести лопатой огромные деньги за счет масштабного распараллеливания цифрового труда. Задавая тон для последующих трехсот страниц книги, Тегмарк рисует картину того, как «Прометей» начинает сам снимать блокбастеры, превращая «Омег» в миллиардеров уровня Спилберга, а затем между делом основывает всемирно популярное глобальное правительство, используя свой непревзойденный гений для установления беспрецедентного мира и процветания.

История Тегмарка о рождении сверхинтеллекта заканчивается якобы счастливо (хотя я сомневаюсь, что его алгократическая утопия пришлась бы по вкусу каждому). Однако другие истории в жанре взрывного развития интеллекта куда чаще заканчиваются слезами. Многие вслед за Ником Бостромом, автором мысленного эксперимента об ИИ-максимизаторе канцелярских скрепок, представляют себе, как сверхинтеллектуальные системы будут развиваться стремительно и выйдут из-под контроля, устремляясь по спирали к нежелательным и катастрофическим целям. На этом этапе неизбежно всплывают избитые сюжеты о мировом господстве ИИ или порабощении человечества, и дискуссия окончательно скатывается к голливудским сценариям пост-ИИ антиутопии.

Но какими бы фантастическими ни казались эти идеи, на первый взгляд они опираются на вполне убедительные логические аргументы. Если мы вознаграждаем мощного агента за выполнение безобидной на первый взгляд задачи, он будет стремиться к ее достижению любыми возможными способами. В этом и заключается сила таких методов машинного обучения, как обучение с подкреплением (RL). Именно это позволяет (теоретической) робособаке, о которой шла речь в части 5, исключительно методом проб и ошибок научиться ходить самостоятельно, хотя её этому никто не учил. Именно это позволяет ChatGPT на основе обратной связи от людей учиться не сквернословить и не флиртовать. Но если ИИ наивно обучать исключительно максимизации вознаграждения, не ставя перед ним других целей, он попытается достичь этого всеми правдами и неправдами — в том числе и такими действиями, которые грубо попирают общечеловеческие ценности. Причина в том, что даже при неограниченной возможности просить, все равно трудно получить именно то, что вы хотите. Эта мудрость передается из поколения в поколение через народные предания, подобные истории о царе Мидасе, который трагически не сумел продумать последствия того, что его бутерброд (или его дочь) превратится в золото от одного прикосновения. Если вы попросите ИИ помочь установить мир во всем мире, но забудете указать дополнительные ограничения для этого решения, он может просто решить истребить всё человечество. Это, безусловно, сделает мир более спокойным, но вряд ли это именно то, что вы имели в виду.[*1] Многие исследователи безопасности ИИ опасаются, что по мере создания все более мощных агентов те будут находить все более изощренные и потенциально нежелательные способы решения даже самых простых задач — например, стремиться к власти или грабить банки для финансирования собственных начинаний. Это называется «проблемой согласования», и о ней в последнее время вышли отличные книги Стюарта Рассела и Брайана Кристиана.[*2]

Проблема с наиболее сенсационными опасениями по поводу сверхинтеллекта заключается в том, что они опираются на пока еще не проверенный принцип экстраполяции. Логика здесь примерно следующая: интеллектуальная система — это та, которая способна достигать своих целей, следовательно, супер-пупер-интеллектуальная система — это та, которая может буквально всё. Даже то, что кажется нам невозможным — например, управление погодой, путешествия во времени или способность убедить каждого вовремя платить налоги, — для такого умного ИИ будет проще простого. Если исследования в области ИИ продолжат развиваться в том же темпе, рано или поздно (согласно этому аргументу) мы получим подобную систему с неизвестными, но, возможно, пугающими последствиями. В дискуссиях об экзистенциальных рисках этот экстраполяционный принцип почти всегда принимается как данность. Формально экстраполяция работает тогда, когда вы можете смоделировать тренд, связывающий две переменные, и правильно угадать, что произойдет за пределами существующих данных. Так, например, сейсмологи могут спрогнозировать магнитуду землетрясения по его продолжительности: каждая дополнительная минута подземных толчков примерно удваивает интенсивность. Когда в 2011 году произошло землетрясение Тохоку у восточного побережья Японии, ученые на сейсмологическом семинаре в двухстах километрах от эпицентра сначала забавлялись, затем встревожились, а потом пришли в ужас, когда толчки продолжились и на четвертой минуте — ведь все они экстраполировали данные и поняли, что разворачивается катастрофическое землетрясение магнитудой 9 (в течение нескольких часов погибли 20 000 человек, а 2000 километров прибрежной инфраструктуры были разрушены[*3]).

Проблема, однако, в том, что экстраполяция редко работает для экстремальных значений — тех, что лежат далеко за пределами имеющихся у нас данных. Возьмем, к примеру, связь между потреблением воды и чувством жажды в жаркий летний день. На нижнем конце шкалы все вполне предсказуемо: если вы изнываете от жажды, целый стакан воды определенно утолит ее лучше, чем крошечный глоток. Но эта прогностическая связь быстро выходит на плато, так что десять стаканов воды не сделают вас в десять раз менее испытывающим жажду. Подобные зависимости между переменными