Лікарі помічають помилки ШІ, а звичайні користувачі часто йому вірять — дослідження MIT
Штучний інтелект може допомагати людині ставити точніший діагноз, але одна й та сама підказка діє зовсім по-різному на лікаря та користувача без медичної підготовки. Дослідники MIT та їхні колеги показали, що нефахівці схильні значно сильніше покладатися на рекомендації мовної моделі — навіть тоді, коли її пояснення неправильне.
У дослідженні учасникам пропонували визначати захворювання шкіри за медичними зображеннями. Частина виконувала завдання самостійно, інші отримували прогноз ШІ та різні види пояснень. Серед учасників були люди без спеціальної підготовки та працівники первинної медичної допомоги.
ШІ допоміг, але створив новий ризик
Загалом доступ до алгоритмічної підказки підвищував точність діагностики. Однак механізм покращення відрізнявся. Нефахівці часто просто погоджувалися з системою, тому правильний прогноз ШІ покращував їхню відповідь, а неправильний міг потягнути рішення в хибний бік.
Особливо показовою була реакція на текстові пояснення, сформовані великою мовною моделлю. Люди без медичної підготовки вважали їх переконливими навіть тоді, коли рекомендація була неправильною. Більше того, нечіткі або загальні пояснення інколи сприймалися як достатньо надійні, хоча фактично не давали способу незалежно перевірити висновок.
Клініцисти поводилися інакше. Їх значно рідше збивала з правильного шляху помилкова рекомендація ШІ. Найкращий результат у медичних фахівців спостерігався тоді, коли система просто показувала власний прогноз без додаткового текстового пояснення. Професійні знання дозволяли лікарю співставити підказку з візуальними ознаками та відхилити її, якщо вона суперечила клінічній картині.
«Пояснюваний ШІ» не завжди робить систему безпечнішою
Результат ставить під сумнів просту ідею, що достатньо додати до відповіді ШІ пояснення — і користувач автоматично зможе краще оцінити його надійність. Якщо людина не має знань, потрібних для перевірки аргументів, добре сформульований текст може навпаки посилити надмірну довіру.
Це особливо актуально через поширення чат-ботів та пошукових систем, які відповідають на запитання про симптоми. Людина може отримати не лише перелік можливих причин, а й логічно структуроване пояснення, яке звучить професійно. Проте мовна впевненість не є доказом медичної правильності.
Дослідники наголошують на явищі автоматизаційного упередження: користувачі мають тенденцію надмірно довіряти рекомендаціям системи, якщо вона здається компетентною. Для медичних інструментів це означає, що інтерфейс повинен проєктуватися з урахуванням досвіду конкретної аудиторії, а не за принципом «одна версія для всіх».
Висновок не полягає в тому, що ШІ не варто використовувати в медицині. Навпаки, експеримент показав реальне підвищення точності в певних умовах. Але користь залежить від того, хто саме бачить рекомендацію, як вона пояснюється і чи має людина можливість незалежно перевірити її. Для звичайного користувача медична відповідь чат-бота не повинна сприйматися як заміна консультації лікаря, особливо коли йдеться про симптоми, що потребують огляду або термінового лікування.
