Sztuczna inteligencja wykazała sukcesy w badaniu rzadkich i mało rozpowszechnionych języków

Duże modele językowe zmniejszają luki językowe

Nowe wersje sztucznej inteligencji (SI) wykazują zauważalny postęp w pracy z rzadkimi i mało znanymi językami, co znacząco redukuje globalną „luka językową”. Potwierdza to badanie firmy RWS opublikowane przez TechRadar.

1. Co pokazały badania
- Google Gemini Pro uzyskał ocenę jakości powyżej 4,5 z 5 punktów w znajomości języka kinjarwanda – którym posługuje się około 12 mln ludzi w Ruandzie, Ugandzie i Demokratycznej Republice Konga.

- Autorzy tłumaczą sukces tym, że współczesne modele opierają się nie tylko na ogromnych zbiorach danych konkretnego języka, ale także wykorzystują wspólne statystyczne wzorce wszystkich języków (mechanizm transferu międzyjęzykowego).

- Ulepszenia w tokenizatorach – systemach dzielenia tekstu na „tokeny” – również przyczyniają się do dokładniejszej pracy z rzadkimi językami.

2. Efekt „driftu benchmarku”
Eksperci odkryli, że podczas przechodzenia od jednej wersji modelu do następnej jego możliwości mogą niespodziewanie się zmieniać:

- Najnowsza wersja OpenAI GPT ustępuje starszym modelom w niektórych zadaniach generowania treści, chociaż poprzednik był bardziej efektywny.

- Efektywność tokenizatora może różnić się nawet o 3,5‑krotność pomiędzy pokoleniami; oznacza to, że wyniki wcześniejszych testów nie zawsze są stosowne do nowych wersji.

3. Co zmienia się w priorytetach deweloperów
- Wcześniej laboratoria SI kładły nacisk na wydajność w języku angielskim i kilku kluczowych językach.

- Obecne modele już skutecznie radzą sobie z tymi zadaniami, dlatego uwaga przesuwa się ku szerszej publiczności: wsparcie rzadkich języków staje się coraz ważniejsze.

- Jednak ocena 4,5/5 nie gwarantuje rzeczywistego poziomu biegłości w języku; wielojęzyczne wsparcie nadal nie jest uznawane za krytyczne.

4. Podsumowanie
SI kontynuuje łamanie barier między kulturami i językami. Mimo że „pokrycie” rzadkich języków jeszcze nie stało się obowiązkowym wymogiem, tendencja do szerszego obejmowania odbiorców jest już widoczna i, jak przewidują eksperci, będzie się nasilać w najbliższych latach.