Більшість гучних заяв про медичний штучний інтелект ґрунтуються на тестах із задачами, історіями хвороб або порівнянні відповідей моделі з відповідями лікаря. Але справжня перевірка починається тоді, коли система входить у реальну клініку й впливає на рішення під час звичайного прийому. Саме це зробили дослідники в Кенії: вони провели прагматичне кластерно-рандомізоване дослідження у 16 закладах первинної допомоги.
У дослідження включили 9 691 пацієнта, за якими працювали 103 клінічні працівники. Основним показником були випадки невдачі лікування протягом 14 днів, оцінені незалежними експертами. У групі з ШІ невдача лікування сталася у 2,2% пацієнтів, у контрольній — у 2,0%. Після статистичного коригування різниця не була значущою.
Водночас дослідники не виявили сигналу серйозної шкоди, пов’язаної з використанням LLM. Це теж важливий результат. У медицині нова технологія повинна спершу довести, що не погіршує ситуацію, а вже потім — що приносить додаткову користь. Самі автори підсумували: допомога LLM у цьому випробуванні виглядала безпечною, але якщо клінічна користь і є, то вона, ймовірно, невелика.
Чому це відрізняється від демонстрацій, де модель блискуче складає медичні іспити? Реальна клініка містить неповні дані, часовий тиск, обмежені ресурси, різні рівні документації та пацієнтів, які не завжди описують симптоми за підручником. Крім того, правильна діагностична відповідь — лише частина процесу.
Кенійський контекст особливо цінний, бо більшість великих моделей навчалися на даних і текстах із багатших систем охорони здоров’я. У країнах із нижчими ресурсами відрізняються поширеність хвороб, доступні лабораторні тести, ліки, логістика й навіть тип медичних працівників.
Теоретично саме тут ШІ-помічник може бути найкориснішим: нагадувати про клінічні рекомендації, структурувати дані, підказувати диференціальну діагностику. Але випробування показує, що хороший інтерфейс і правдоподібні відповіді ще не означають кращого результату для пацієнта.
Це не провал ідеї клінічного ШІ. Навпаки, дослідження задає правильний стандарт доказів. Можливо, LLM корисніший у конкретних вузьких задачах: документації, перевірці взаємодій ліків, нагадуванні про протоколи чи роботі з рідкісними випадками. Можливо, ефект залежить від досвіду користувача або від того, наскільки добре система інтегрована в робочий процес.
Наступні дослідження мають відповідати на більш точні запитання: кому саме допомагає ШІ, у яких клінічних ситуаціях, як часто лікарі ігнорують неправильну пораду та як система поводиться при нестачі даних. Також важливе питання відповідальності: якщо лікар і алгоритм не погоджуються, рішення все одно має залишатися під контролем людини.
Цифри випробування добре показують, чому статистична значущість має значення. Формально скориговане відношення шансів було нижчим у групі з ШІ, але довірчий інтервал охоплював значення, за яких реальна користь могла бути невеликою або відсутньою. Саме тому автори не називають результат позитивним. У клінічній науці напрямок різниці сам по собі недостатній: потрібно показати, що він навряд чи виник випадково і має практичну величину.
Водночас система могла впливати на інші аспекти роботи, які не зводяться до головного показника. ШІ здатен структурувати документацію, нагадувати про протоколи або допомагати сформулювати план. Такі ефекти можуть бути корисними навіть без помітного зниження невдач лікування, але їх теж потрібно вимірювати окремо — разом із витратами часу, навантаженням на персонал і ризиком надмірної довіри до алгоритму.
Особливо важливо не перетворювати клінічного помічника на прихованого «автопілота». Якщо рекомендація моделі виглядає переконливо, людина може рідше її перевіряти — явище, відоме як automation bias. Тому якісна система повинна не просто видавати відповідь, а показувати джерела, невизначеність і ситуації, коли їй не вистачає даних. Реальний прогрес у медичному ШІ може залежати від дизайну взаємодії з лікарем не менше, ніж від розміру самої моделі.
Є й економічний вимір. Якщо ШІ не покращує основний клінічний результат, але скорочує час на документацію або дозволяє одному досвідченому фахівцю підтримувати більше молодших колег, технологія все одно може бути корисною для системи охорони здоров’я. Проте це потрібно рахувати разом із вартістю програмного забезпечення, навчання персоналу, контролю якості та захисту даних. У бідніших системах навіть невелика додаткова витрата може бути критичною, тому ефективність повинна оцінюватися не лише медично, а й економічно.
Головний урок Кенії простий: медицина входить у фазу, коли ШІ треба оцінювати так само суворо, як інші втручання. Результат «безпечний, але без доведеної переваги за основним показником» набагато корисніший за маркетингову обіцянку. Він допомагає відокремити реальний потенціал від хайпу.
