Roboty AI popełniają błędy w diagnozowaniu prawie w 80 % przypadków, jak wynika z badania

Krótko o wynikach badania

Niedawne badanie opublikowane w *Jama Network Open* i cytowane w *Financial Times* wykazało, że popularne chatboty nie są w stanie dokładnie stawiać diagnoz medycznych, jeśli mają ograniczoną ilość danych. W ponad 80 % przypadków podawały błędną diagnozę, a tylko przy pełnym opisie objawów dokładność wzrastała do 90 %.

Jak przeprowadzono badanie
KrokCo robiliWybór przypadków29 klinicznych scenariuszy z literatury pomocniczej.Przekazywanie danychInformacja o pacjencie była przekazywana chatbotom stopniowo: historia choroby → wyniki badań → analizy laboratoryjne.Pytania do AIZadawano pytania dotyczące diagnozy; mierzyli dokładność i kompletność odpowiedzi.

Uczestnicy eksperymentu
* 20 popularnych modeli od OpenAI, Anthropic, Google, xAI, DeepSeek.

* Przy niepełnych danych ponad 80 % z nich stawiało błędną diagnozę.

* Wraz ze wzrostem ilości informacji dokładność rosła: w najlepszych przypadkach – >90 %, średnio – błędy mniejsze niż 40 %.

Reakcja deweloperów
FirmaKomentarzGoogle & AnthropicW przypadku próby uzyskania zaleceń medycznych chatboty stanowczo zalecają skontaktowanie się ze specjalistą.OpenAIWskazuje w warunkach korzystania, że ich usługi nie są przeznaczone do uzyskiwania licencjonowanych zaleceń medycznych.xAI & DeepSeekNie udzieliły komentarzy.
Niektórzy z nich rozwijają specjalizowane modele: Google stworzyło AMIE, które wykazuje dobre wyniki, ale jego wnioski nadal wymagają potwierdzenia przez żywego lekarza, zwłaszcza biorąc pod uwagę znaczenie oceny wizualnej.

Wniosek
Chatboty mogą być przydatne jako narzędzie pomocnicze, jednak przy ograniczonej informacji często popełniają błędy. Ich wykorzystanie jako zastępstwa wykwalifikowanego specjalisty medycznego jest obecnie niedopuszczalne, choć takie modele mogą okazać się przydatne w regionach z brakiem dostępu do tradycyjnej opieki zdrowotnej.