Три популярные ИИ-модели сравнили по точности оценки осложнений

Исследователи проверили, как три популярные языковые модели распознают послеоперационные хирургические осложнения и выбирают надлежащую тактику ведения пациентов. Работа опубликована в журнале Aesthetic Plastic Surgery.

Тридцать стандартизированных клинических сценариев послеоперационного периода, представляющих осложнения низкого, умеренного и высокого риска, были представлены трем системам искусственного интеллекта с использованием стандартизированного запроса. Ответы оценивались по точности диагностики, адекватности тактики ведения, точности медицинской сортировки, безопасности пациентов и полноте с использованием 5-балльных шкал Лайкерта. Дополнительно регистрировались критические ошибки в тактике ведения и случаи потенциально опасного необоснованного успокоения пациентов.

Согласно результатам исследования, ИИ-модель ChatGPT продемонстрировала наивысшие общие показатели по большинству оцениваемых параметров. Средние оценки точности диагностики составили 3,99 для ChatGPT, 3,61 для Gemini и 3,90 для Claude.

В целом критические ошибки в тактике ведения встречались редко, но наиболее часто наблюдались у Gemini. В сценариях высокого риска надлежащие рекомендации по экстренному направлению за медицинской помощью были выявлены в 93,3% оценок ChatGPT, 76,7% оценок Gemini и 96,7% оценок Claude.

Авторы заключили, что системы искусственного интеллекта продемонстрировали способность от умеренной до высокой степени распознавать распространенные послеоперационные осложнения. Однако различия между системами становились более выраженными в клинически неотложных ситуациях. Современные большие языковые модели могут служить вспомогательным информационным инструментом в послеоперационном уходе, но не должны заменять врачебную оценку при потенциально серьёзных осложнениях.