Альянс в сфере ИИ запускает бенчмарки для оценки ML-моделей в медицине
На сайте ассоциации доступны две задачи по проверке эффективности моделей, использующих машинное обучение для автоматической обработки естественного языка. Это задачи на логику и знания, вопросно-ответное моделирование и понимание смысла медицинского текста. Еще один бенчмарк предназначен для моделей, нацеленных на поиск патологий в ЭКГ сигналах.
Задача RuMedNLI позволяет оценить, насколько хорошо большие языковые модели определяют логическую связь между медицинскими текстами. Модель должна определить, следует ли второй текст из начального утверждения, противоречит ему или не предоставляет достаточно информации для логического вывода.
С помощью задачи RuMedDaNet можно протестировать языковые модели на понимание медицинских текстов, задавая вопросы на основе предоставленного фрагмента текста. Модель должна ответить "да" или "нет", чтобы продемонстрировать знания в различных областях медицины.
Задача ECG2Pathology проверяет точность, с которой та или иная модель на основе машинного обучения способна справляться с обработкой медицинских сигналов. По предложенному ЭКГ сигналу модель должна предсказать список обнаруженных сердечных заболеваний из 75 возможных патологий.
В разделе «Здравоохранение» платформы Альянса любой желающий может бесплатно скачать необходимые для работы данные. Зарегистрированным пользователям доступно участие в бенчмарках – загруженные модели проходят скоринг, и его результаты отображаются в открытом лидерборде.
В создании бенчмарков принимали участие как лидеры IT-сообщества, так и крупнейшие профессионалы из области медицины, обмен экспертизой активно происходит на площадке Отраслевого клуба Альянса «ИИ в здравоохранении», в который уже вошли 25 ведущих медицинских центров России и разработчиков ИИ-решений.
