В МГУ предлагают учитывать разногласия врачей при оценке медицинского ИИ
Всего было создано два относительных показателя
Исследователи Центра искусственного интеллекта (ИИ) МГУ стали участниками проекта AIRI и НМИЦ им. В.А. Алмазова, который предполагает создание способа оценки диагностических ответов ИИ, учитывающего различия во мнениях врачей. Решение позволяет сравнивать предположения языковых моделей с заключениями нескольких специалистов, принимая во внимание, насколько сами специалисты согласны друг с другом. Об этом изданию «Вести Подмосковья» рассказали в пресс-службе МГУ.
«Оценивать такие системы непросто: по одному и тому же описанию симптомов врачи могут предложить разные диагнозы. Если принять мнение одного специалиста за единственный правильный ответ, результат проверки ИИ будет зависеть от выбора этого специалиста. Дополнительную сложность создают различия в формулировках: совпадающие по смыслу диагностические предположения могут быть записаны разными словами», — рассказали авторы исследования.
Всего было создано два относительных показателя: согласованность ответов модели и врачей с согласованностью врачебных заключений между собой. Другой алгоритм позволяет определить, какие формулировки диагнозов следует считать совпадающими. Для этого он объединяет оценки языковых моделей, сведения из Международной классификации болезней и признаки сходства текстов.
Подход проверили на 360 русскоязычных диалогах, моделирующих сбор сведений о состоянии пациента. Половину изучали медицинские специалисты, остальное -составляли беседы актеров в роли пациентов с языковой моделью. Каждый диалог независимо оценивали семь врачей-ординаторов. Заключения сопоставили с диагностическими предположениями восьми языковых моделей.
«Если врачи расходятся во мнениях, оценка ИИ по ответу одного специалиста может дать неполную картину. Мы предлагаем учитывать и ответы модели, и степень согласия между самими врачами. Это помогает понять, насколько выводы системы соответствуют экспертным оценкам. Однако такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинической практике», – отметил старший научный сотрудник Центра ИИ МГУ Петр Анохин.
Подход можно применять при разработке и сравнении систем поддержки врачебных решений, анализирующих текстовые диалоги и предлагающих возможные диагнозы. Пока решение проверили на смоделированных разговорах на русском языке. Для других языков, видов медицинских данных и условий применения необходимы дополнительные исследования.