Ответы чат-ботов про изотретиноин: точнее оказался ChatGPT, понятнее Gemini

Исследователи сравнили ответы ChatGPT и Gemini на вопросы пациентов об изотретиноине. Оба бота превысили рекомендуемый уровень сложности текста, пишут авторы в журнале JMIR dermatology.

Авторы, группа дерматологов, составили 40 типовых вопросов, которые пациенты обычно задают перед началом лечения изотретиноином. Затем они получили ответы на эти вопросы у двух популярных чат-ботов — ChatGPT (OpenAI) и Gemini (Google). Пять дерматологов-экспертов вслепую оценили ответы по точности, полноте, понятности и полезности. Читаемость измерили с помощью Readability Formulas, в том числе индексов Flesch-Kincaid Grade Level (FKGL) и Simple Measure of Gobbledygook (SMOG).

ChatGPT достоверно превзошел Gemini по точности, полноте, полезности и общей оценке качества (GQS). Ответы Gemini при этом оказались понятнее и согласованнее. Кроме того, Gemini чаще напоминал о необходимости обратиться к врачу, а ChatGPT таких предупреждений практически не давал.

Читаемость ответов обоих чат-ботов оказалась значительно ниже рекомендуемых стандартов для материалов, предназначенных пациентам. Средний FKGL у ChatGPT составил 12,6, у Gemini — 11,2: чтобы понять такие ответы, нужен более высокий уровень образования. Индекс SMOG тоже был высоким — 11,31 у ChatGPT и 10,03 у Gemini.

Несмотря на более высокую точность, оба чат-бота принесли ограниченную пользу, когда требовалось дать пациенту адаптированную и понятную информацию. По мнению авторов, ответы чат-ботов можно использовать для предварительного знакомства пациентов с темой изотретиноина, но профессиональную медицинскую консультацию они не заменяют. Исследователи считают, что нужны дальнейшие работы, чтобы сделать генерируемый ИИ медицинский контент доступнее и точнее для широкой аудитории.