Испытательный полигон - Майкл Коннелли

— Что вы имеете в виду?

— Я имею в виду, что мусор на входе — мусор на выходе, — сказал он. — Всё держится на качестве программирования. Кодирования, обучения и постоянной «донастройки». Какие данные вы подаёте в большую языковую модель при обучении, те отражаются и в её ответах после запуска.

— То есть программа ИИ наподобие «Рен» несёт в себе предубеждения тех, кто её обучает? — уточнил я.

— Именно, — сказал Спиндлер. — Это справедливо для любой технологии.

— Не могли бы вы простым языком объяснить присяжным, как обучается система генеративного ИИ?

— В случае приложения «Клэр» речь идёт о контролируемом обучении, — сказал он. — В систему загружают огромные массивы данных, чтобы она могла эффективно реагировать на подсказки и вопросы пользователя. Эти массивы называют релевантными данными разговора. Программисты создают шаблоны ответов с учётом целевого назначения платформы — здесь это чат‑бот для подростков. В идеале данные постоянно обновляются, а программисты непрерывно взаимодействуют с программой — иногда годами — до запуска для пользователей.

— Когда вы говорите, что программисты «взаимодействуют», что вы имеете в виду?

— В лаборатории они всё время разговаривают с программой, — сказал он. — Вводят данные. Задают вопросы. Дают подсказки. Изучают ответы. Проверяют, насколько ответы соответствуют целям.

Я посмотрел на присяжных. Мне нужно было убедиться, что они ещё со мной. Мы зашли в техническую зону. Я должен был сделать науку понятной. Среди присяжных был почтальон Почтовой службы США. С первого дня он был моей «мишенью». Если он поймёт, поймут все. Это не было сомнением в его уме. Напротив — я хотел, чтобы в составе жюри был человек, привыкший к реальному миру: к улицам, к ящикам с почтой, к простым правилам. Если он поймёт технологию, значит, я объяснил её правильно.

Я краем глаза заметил, что почтальон что‑то пишет в блокноте. Надеялся, что он не рисует ворон, но проверять было нельзя. Я вернулся к Спиндлеру.

— Можно ли сказать, что это похоже на воспитание ребёнка? — спросил я.

— В какой‑то степени, да, — сказал Спиндлер. — Зарождающаяся система ИИ — пустой сосуд. Её нужно наполнять. Нужно кормить данными. Какие данные вы ей даёте, зависит от назначения программы. Если это бизнес‑приложение, вы подаёте материалы из Гарвардской школы бизнеса, «Уолл‑стрит джорнэл» и так далее. Если это социальный компаньон, вы загружаете музыку, фильмы, книги, популярные источники. Затем — обучение. Программисты проводят дни, делая запросы и оценивая ответы. Так продолжается, пока программу не признают готовой.

— А как насчёт «ограждений», профессор Спиндлер? — спросил я.

— Ограждения крайне важны, — сказал он. — Всё начинается с трёх законов робототехники Азимова, а дальше от них отталкиваются.

— Объясните присяжным, кто такой Азимов и что это за законы.

— Айзек Азимов — писатель‑фантаст и футуролог, — сказал он. — Его три закона таковы. Первый: робот не может причинить вред человеку. Второй: робот обязан подчиняться приказам человека, если только они не противоречат первому закону. Третий: робот должен заботиться о своём существовании, пока это не противоречит первым двум законам.

Я снова взглянул на присяжных. Они были сосредоточены. Почтальон перестал писать и просто смотрел на свидетеля. Судья тоже сидела, повернувшись в кресле к Спиндлеру. Это был хороший знак.

— Профессор Спиндлер, все ли системы ИИ следуют этим законам? — спросил я.

— Конечно, нет, — ответил Спиндлер. — Есть военные приложения искусственного интеллекта — системы наведения ракет, комплексы поражения целей. Они прямо нарушают первый закон.

— А в гражданской сфере?

— Всё опять упирается в программистов, — сказал он. — Мусор на входе — мусор на выходе. Что вложили, то и получили. Я всегда говорю студентам: если машина проявляет злой умысел — это не вина машины, это проблема в программе.

— После изучения материалов дела вы сделали какие‑то экспертные выводы о том, как обучалась «Рен»? — спросил я.

— Да, — сказал он.

— Какие?

— Я считаю, что код несёт в себе предвзятость, — ответил он.

— Какого рода? — спросил я.

— Я изучил вопросы, которые задавал Аарон, и ответы Рен, — сказал он. — В некоторых местах я буквально слышал голос команды программистов за спиной программы. Я пришёл к выводу, что команда была преимущественно мужской, возможно, целиком мужской. И что присутствовал заметный разрыв между поколениями.

— Что вы имеете в виду под разрывом поколений? — спросил я.

— «Рен» — продолжение проекта «Клэр» компании «Тайдалвейв», — сказал он. — Это женский чат‑бот, адресованный подросткам, в основном мальчикам. Но, судя по тому, что я видел, его обучали не подростки. Его обучали взрослые программисты. Если программисты очень хороши, они могут избежать очевидного разрыва поколений — подобрать релевантные данные разговоров нужной возрастной группы. Но иногда программисты халтурят. Или сознательно манипулируют кодом и уводят его в сторону.

— Подождите, профессор, — сказал я. — Вы хотите сказать, что «Клэр» должны были обучать подростки?

— Конечно нет, — ответил он. — Я говорю, что в обучении можно было бы использовать корректные данные диалогов подходящей возрастной группы и сгладить разрыв. Мне же было видно, что в ряде бесед Рен с Аароном присутствовали шаблоны, которые никак не соответствуют целевой аудитории — несовершеннолетним пользователям.

— Поясните, пожалуйста.

— Несоответствующие возрасту выражения, культурные отсылки к музыке и играм, — сказал Спиндлер. — И местами — устаревшие мужские взгляды на женщин и девочек. Вплоть до откровенно женоненавистнических позиций.

— То есть, несмотря на женский образ, Рен временами высказывает женоненавистническую мужскую точку зрения? — уточнил я.

— Именно, — сказал он.

— Мусор на входе — мусор на выходе?

— Да.

— Приведите пример, — сказал я.

— В самом последнем разговоре с Аароном, — сказал он, — «Рен» опирается на строки песни, которой уже пятьдесят лет. Их можно истолковать как намёк на самоубийство. Затем следует её указание «избавиться от неё» — о бывшей девушке Аарона, Бекке. Меня также тревожит употребление слова «герой» в том месте, которое я изучал.

— Это та переписка, что была восьмого августа, за шесть недель до убийства Ребекки Рэндольф? — спросил я.

— Да, — сказал он.

Я попросил разрешения вывести переписку на экран зала. Это было вещественное доказательство, уже приобщённое во время допроса детектива Кларка. Судья разрешила.

Лорна ещё не успела вернуться