Искусственный интеллект в здравоохранении - Коллектив авторов

– требования к пользователям системы ИИ (уверенное пользование операционной системой электронно-вычислительной машины, обучение и опыт работы в области применения систем ИИ (компьютерная томография, рентгеновская аппаратура, цифровая флюорография, цифровая маммография, электрокардиография, электронная медицинская карта), опыт работы с форматами обрабатываемых данных (видео-, аудиофайлы, пиксельное изображение, сигнальные данные, текстовые данные) и др.).

К результатам эксплуатации систем ИИ в клинической медицине предъявляются следующие требования [Национальный стандарт РФ ГОСТ Р 59921.6…]:

а) данные результаты относят к электронным медицинским записям;

б) в обязательном порядке необходимо фиксировать информацию о наименовании, изготовителе и версии систем ИИ. Обязательна пометка «требует подтверждения врача»;

в) результаты могут быть включены в электронную медицинскую карту пациента для возможного дальнейшего использования врачом.

Активное участие медицинских организаций в системе мониторинга безопасности МИ позволяет Росздравнадзору не только реагировать на отдельные инциденты, но и выявлять системные проблемы качества, эффективности и безопасности МИ, что неизбежно приводит к снижению вероятности повторения неблагоприятного события или смягчению последствия таких повторений, повышению качества оказания медицинской помощи в целом.

Приказом Минздрава России № 1113н от 19.10.2020 г. утвержден порядок сообщения субъектами обращения МИ о неблагоприятных событиях, связанных с применением МИ. Медицинские организации обязаны информировать о неблагоприятных событиях Росздравнадзор и производителя МИ (его уполномоченного представителя), должны предоставлять доступ к МИ. Существует несколько возможных путей направления сообщения о неблагоприятном событии:

– в электронной форме через размещенную на официальном сайте Росздравнадзора в сети Интернет автоматизированную информационную систему;

– через приложение Росздравнадзора для мобильных устройств;

– через федеральную государственную информационную систему «Единый портал государственных и муниципальных услуг (функций)»;

– на бумажном носителе.

В сообщении указываются данные о МИ, медицинской организации, поставщике, производителе, содержится подробное описание неблагоприятного события.

В медицинской организации назначается ответственное за мониторинг безопасности МИ должностное лицо, в обязанности которого входят:

– сбор и направление в Росздравнадзор информации о неблагоприятных событиях;

– мониторинг информационных писем Росздравнадзора, размещенных на официальном сайте в сети Интернет, проведение мероприятий, указанных в них в части МИ, находящихся в обращении в организации.

В ходе этой работы анализируются все обстоятельства для исключения неправильного использования МИ, повлекшего инцидент.

Крайне важным на пострегистрационном этапе является мониторинг систем ИИ с технологиями машинного обучения. Обучение большинства таких систем продолжается на протяжении всего жизненного цикла системы ИИ (непрерывное обучение). Вносятся изменения по результатам данных о практическом применении. Проведение указанной работы осуществляется изготовителем в тесном взаимодействии с медицинской организацией (пользователем). Для определения структуры изменений системы ИИ с непрерывным обучением изготовитель должен разработать план управления изменениями, который включается в техническую и эксплуатационную документацию на МИ. План описывает методы, которые использует изготовитель для надлежащего контроля рисков ожидаемых изменений, описанных в технической документации. План управления изменениями должен представлять детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а система ИИ оставалась безопасной и эффективной. Сведения о произошедших адаптациях или в случае изменений от изготовителя (смена версии/сборки) после получения данных практического применения должны быть открытыми и понятными. Для обеспечения этого следует уведомлять касательно всех изменений заинтересованные стороны, например пользователей (медицинские организации, врачей-специалистов), регулирующие органы, в том числе в автоматическом режиме.

Например, система ИИ на основе машинного обучения отделения реанимации и интенсивной терапии получает на вход результаты электрокардиографии, измерения артериального давления, пульсоксиметрии. Данные обрабатываются и анализируются для выявления закономерностей, возникающих в начале физиологической нестабильности. При обнаружении физиологической нестабильности подается звуковой сигнал тревоги, указывающий на то, что необходимы немедленные клинические действия для предотвращения потенциального вреда для пациента.

В технической документации изготовитель предлагает два возможных изменения системы ИИ:

А – изменение алгоритма, чтобы обеспечить однородную эффективность среди разных подгрупп пациентов;

Б – уменьшение количества ложных тревог при условии сохранения чувствительности к возникновению физиологической нестабильности.

Один из возможных сценариев изменений – повышение эффективности в соответствии с планом управления изменениями, согласно которому данные собраны и использованы для изменения с целью снижения частоты ложных срабатываний при сохранении чувствительности. Собран отдельный независимый набор данных для клинической валидации, по результатам которого обнаружено, что частота ложных срабатываний снизилась, а чувствительность осталась прежней. После успешной проверки изменений системы и смены адаптации проводят необходимые процедуры, пользователям системы ИИ предоставляют информацию об изменении и вносят обновления в текущую адаптацию системы.

Другой сценарий – повышение эффективности. При этом изменение, связанное с предполагаемым использованием, несовместимо с планом управления изменениями.

В соответствии с планом управления изменениями системы изготовитель повторно обучил свой алгоритм с использованием дополнительных наборов данных для повышения чувствительности. Клиническая валидация показала, что измененный алгоритм имеет такую же чувствительность и частоту ложных тревог, что и предыдущая версия. При этом изготовитель заметил, что измененный алгоритм может поддерживать ту же чувствительность за 15 мин до начала физиологической нестабильности, чего не могла делать предыдущая версия алгоритма.

Изготовитель хотел бы обновить свой алгоритм и документацию, чтобы указать, что состояние тревоги теперь отражает прогноз физиологической нестабильности на следующие 15 мин, что ранее не было отражено в плане управления изменениями. После указанных действий необходимо выполнить процедуры, предусмотренные действующим законодательством.

Изменения в системе ИИ с непрерывным обучением в рамках адаптации необходимо контролировать путем периодического мониторинга. Данный мониторинг проводят с целью отслеживания работы системы, изменений при возникновении ложноположительных/ложноотрицательных результатов в процессе непрерывного обучения, а также учета имеющихся клинических данных, специфических особенностей и факторов риска, связанных с МИ. Сбор данных о практическом применении системы ИИ позволит изготовителю понять, как используют продукт, и своевременно реагировать на проблемы в ходе работы в рамках практического применения. Для этого необходима обратная связь от пользователя (медицинской организации).

В качестве первоочередных мер по совершенствованию регулирования программных МИ с применением ИИ выделяются следующие направления деятельности [Гусев и др., 2021]:

– сокращение сроков клинических испытаний и экспертизы программных МИ с технологиями ИИ перед их государственной регистрацией за счет дальнейшего совершенствования процедур клинической оценки безопасности и эффективности;

– создание условий для проведения клинических испытаний на основе качественных размеченных наборов данных;

– изменение требований к системе менеджмента качества и установление государственного контроля ее наличия и уровня с целью повышения доверия к разработчикам, а также предоставление разработчикам упрощенных или ускоренных процедур вывода программных МИ на рынок;

– разрешение на выпуск новых версий продуктов через извещение регулятора, без необходимости проведения повторных клинических испытаний;

– развитие пострегистрационного мониторинга, в том числе через создание независимых сервисов автоматизированного контроля работы продуктов технологий ИИ и автоматической регистрации фактов неблагоприятных событий в информационной системе Росздравнадзора, например, в случае ухудшения указанных в технических условиях программных МИ метрик точности работы моделей ИИ.

§ 5.