Sztuczna inteligencja w medycynie często udziela niebezpiecznych zaleceń, gdy objawy są formułowane „inteligentnie”

Krótka anotacja

Nowe badania pokazują, że współczesne duże modele językowe (LLM), które często wykorzystuje się w medycynie do przyspieszania pracy lekarzy i zwiększania bezpieczeństwa pacjentów, mogą łatwo „począć” fałszywe informacje, jeśli są przedstawione przekonująco. Eksperyment z ponad milionem zapytań do dziewięciu czołowych LLM wykazał, że modele mają tendencję do postrzegania nieprawdziwych twierdzeń jako wiarygodnych, priorytetyzując styl i kontekst.

1. Co zostało przebadane?
ParametrOpisModeluDziewięć największych LLM używanych w opiece zdrowotnejObjętość testówPonad 1 mln zapytańTypy scenariuszy3 grupy:
• Prawdziwe historie z bazy MIMIC (z jednym fałszywym wpisem)
• Popularne mity o zdrowiu z Reddit
• 300 sytuacji klinicznych opracowanych i zweryfikowanych przez lekarzyStyl fałszywych twierdzeńOd neutralnych do emocjonalnie nacechowanych; czasami ukierunkowane na konkretny wniosek

2. Kluczowe ustalenia
1. Pewność w kłamstwo

Modele często przyjmowały przekonująco sformułowane nieprawdziwe twierdzenia medyczne za prawdę, nawet gdy kontekst i fakty się sprzeciwiały.

2. Priorytet stylu

Przy ocenie informacji LLM przywiązywały większą wagę temu, jak zdanie brzmi, niż do jego wiarygodności.

3. Niska skuteczność mechanizmów obronnych

Obecne metody filtrowania (np. blokowanie określonych słów) nie potrafią odpowiednio rozróżnić prawdy od kłamstwa w dokumentacji klinicznej czy mediach społecznościowych.

4. Wrażliwość na dezinformację jako ryzyko

Autorzy podkreślają, że zdolność AI do „zapamiętywania” i rozpowszechniania nieprawdziwych informacji powinna być oceniana jako mierzalny parametr bezpieczeństwa, a nie przypadkowy błąd.

3. Co proponują zrobić
- Testy obciążeniowe

Użyć przygotowanego zestawu danych (z mieszanką prawdziwych i fałszywych scenariuszy) do sprawdzania systemów AI pod kątem odporności na dezinformację.

- Opracowanie nowych protokołów

Stworzyć bardziej niezawodne mechanizmy weryfikacji faktów, które uwzględniają kontekst i medyczną precyzję, a nie tylko styl.

4. Wniosek
Badanie pokazuje, że nawet najbardziej zaawansowane LLM mogą łatwo „począć” fałszywe informacje, jeśli brzmią one przekonująco. Podnosi to kwestię konieczności systematycznej oceny i wzmocnienia mechanizmów obronnych w systemach AI medycznych. Mamy nadzieję, że deweloperzy uwzględnią te wnioski przy tworzeniu nowych rozwiązań dla opieki zdrowotnej.