Пояснення ШІ допомагають лікарям і звичайним користувачам ставити дерматологічні діагнози зовсім не однаково
У медицині недостатньо, щоб штучний інтелект просто видавав правильну відповідь. Важливо, як людина реагує на цю відповідь і чи стає фінальне рішення кращим. Нове дослідження дерматологічного explainable AI показало: однакові пояснення алгоритму по-різному впливають на лікарів первинної ланки та людей без медичної підготовки.
Тобто «пояснюваність» не є універсальною властивістю, яка автоматично підвищує безпеку.
Лікар і непрофесійний користувач читають одну підказку по-різному
Лікар уже має власну діагностичну модель й використовує рекомендацію ШІ як один із доказів. Людина без медичних знань частіше покладається на візуальне виділення, рівень впевненості алгоритму або просте формулювання «це найбільш імовірний діагноз».
Саме тому один формат пояснення може допомагати професіоналу, але надмірно переконувати непрофесійного користувача.
Найнебезпечніша помилка — automation bias
Якщо людина мала правильну відповідь, але після переконливої хибної підказки ШІ змінила її на неправильну, система погіршила результат попри «прозоре» пояснення.
Тому медичний алгоритм потрібно оцінювати не лише за власною точністю, а й за тим, що стається після його взаємодії з людиною.
Для практики це означає різні інтерфейси для різних аудиторій. Лікарю може бути корисна карта ознак і альтернативні діагнози, тоді як пацієнтові потрібні чіткі межі впевненості та рекомендація, коли звернутися до фахівця. Explainable AI має бути не просто зрозумілим, а поведінково безпечним.
Різний дизайн пояснення може включати теплову карту, список ознак, альтернативні діагнози або числову впевненість. Кожен формат по-своєму впливає на довіру, тому оптимальний інтерфейс потрібно перевіряти поведінковими експериментами, а не обирати лише за естетикою.
Для домашніх користувачів особливо важливо не створити хибне відчуття остаточного діагнозу за фотографією. Навіть добрий дерматологічний алгоритм не бачить пальпацію, анамнез, швидкість росту утворення та інші клінічні сигнали, тому пояснення має чітко показувати межі системи.
