ChatGPT, Gemini i Claude rozszczepiły oceny znikania zawodów przez AI, a naukowcy wątpią w ich wiarygodność

Kluczowy pomysł badania

Ekonomiści z Uniwersytetu Północno-Zachodniego i Uniwersytetu Amerykańskiego odkryli, że trzy największe modele językowe AI (ChatGPT‑5, Gemini 2.5 i Claude 4.5) dają różne oceny tego, które zawody znajdują się w strefie ryzyka automatyzacji. To podważa wiarygodność „indeksów podatności na AI” – liczbowych wskaźników używanych przez polityków i pracodawców przy planowaniu przyszłego rynku pracy.

1. Jak przeprowadzono badanie
Krok | Co robiono | Ustalenie zadania | Poproszono modele o ocenę wrażliwości różnych zawodów na AI | Porównanie odpowiedzi | Porównano oceny między sobą i z rzeczywistymi danymi | Analiza przyczyn rozbieżności | Zidentyfikowano dwa kluczowe czynniki: różnice w samych modelach oraz wpływ tego, które specjalistów już korzystają z AI.

2. Wyniki
Zawód | Claude 4.5 | Gemini 2.5 | ChatGPT‑5
Księgowy | Wysoka podatność | Niska | Średnia
Menadżer reklamowy | — | — | —
Dyrektor wyższego szczebla | — | — | —

*Rozbieżności*
- Claude umieścił księgowych na szczycie, Gemini znacznie niżej.
- Oceny menedżerów reklamowych i dyrektorów najwyższego szczebla również się różniły.
- ChatGPT i Gemini pokrywali się w prawie 75 % przypadków, ale rozeszły się około jednej czwartej.

*Wpływ „użytkowników AI”*
Analitycy finansowi aktywnie pracują z sieciami neuronowymi, tworząc dane, na których uczą się przyszłe modele. To przesuwa oceny i sprawia, że zawody już ściśle związane z AI są bardziej podatne w oczach modeli.

3. Jak budowane są indeksy podatności
1. Ręcznie – eksperci oceniają wpływ AI na konkretne zadania.
2. Ankiety użytkowników – zbierają opinie tych, którzy już korzystają z platformy.
3. Największe modele językowe (LLM) – generują oceny automatycznie.

*Problemy:*
- Ręczne są podatne na subiektywność.
- Ankiety ograniczane są jedną platformą i nie odzwierciedlają całego rynku.

Jednak takie indeksy są szeroko stosowane w raportach analitycznych, konsultingu i polityce.

4. Co to oznacza dla praktyki
*Wiarygodność ocen – do tej pory nie wiadomo, czy LLM dają dokładniejsze prognozy niż metody eksperckie.*
*Ryzyko podejmowania decyzji na podstawie jednego wskaźnika – autorzy ostrzegają, że politycy i pracodawcy mogą błędnie polegać na jednoznacznych liczbach.*

5. Rekomendacje badaczy
1. Używać kilku modeli AI jednocześnie, a nie tylko jednego.
2. Wyraźnie wskazywać poziom niepewności w wynikach.
3. Potwierdzać wnioski ankietami rzeczywistych użytkowników, aby zrozumieć, jak AI faktycznie wdrażane jest i jakie zadania realizuje.

> „Osobiście nie polegałabym na jednym wskaźniku przy podejmowaniu decyzji o zmianie pracy lub wyborze specjalizacji”, – zauważa Michelle Yin.

Wniosek:
Obecne indeksy podatności AI potrzebują bardziej krytycznego podejścia. Połączenie wielu modeli i danych empirycznych pomoże uczynić prognozy bardziej wiarygodnymi i uniknąć błędnych decyzji opartych na jednostronnych ocenach.