Claude Mythos został potwierdzony testami jako lider w wykrywaniu luk bezpieczeństwa, jednak wykazuje także inne niedociągnięcia

Krótka treść

Firma XBOW przeprowadziła niezależną ocenę modelu AI Mythos Preview od Anthropic. Wyniki pokazały, że model przewyższa istniejące odpowiedniki w wyszukiwaniu luk w kodzie źródłowym oraz przy pracy z kodem natywnym i inżynierii odwrotnej, ale wykazuje słabości w analizie izolowanego kodu i potwierdzaniu praktycznej użyteczności znalezionych exploitów. Koszt działania modelu pozostaje kwestią: Mythos jest droższy od Opus, jednak przy ograniczonym budżecie tokenów czasami demonstruje lepszą dokładność.

1. Co sprawdzała XBOW
- Zakres testów – seria niezależnych eksperymentów nad Mythos Preview.
- Scenariusze – audyt działających systemów z dostępem do kodu źródłowego, analiza izolowanego kodu, inżynieria odwrotna i interakcja z interfejsem graficznym.

2. Kluczowe wnioski
Wskaźnik Mythos Preview Odpowiednie modele Wykrywanie luk Najlepszy wskaźnik spośród wszystkich modeli, zwłaszcza w kodzie źródłowym i programowaniu natywnym. Mniej dokładny, ale czasami bardziej niezawodny przy sprawdzaniu konkretnych przypadków. Redukcja fałszywych alarmów Usuwa więcej „fałszywych” odkryć niż poprzednicy. Często generuje więcej fałszywych alarmów. Problemy z izolowanym kodem Model radzi sobie gorzej bez kontekstu systemu. Niektóre modele lepiej działają przy analizie liniowej. Potwierdzanie exploitów Skłonny do dosłownego podejścia, czasami przecenia praktyczną wartość odkryć. Bardziej krytyczny wobec rzeczywistej użyteczności. Inżynieria odwrotna i kod natywny Dostarcza silne wyniki; dobrze „rozumie” logikę programu bez kodu źródłowego. Mniej dokładny w tych zadaniach. Interakcja z UI Nie zawsze dokładnie znajduje współrzędne elementów, ale skutecznie określa potrzebne działania w przeglądarce. Niektóre modele są bardziej precyzyjne w pozycjonowaniu.

3. Koszt i efektywność
- Wycenianie – Anthropic stwierdziła, że Mythos będzie kosztować pięć razy więcej niż Opus.
- Analiza ekonomiczna – XBOW przeprowadziła eksperymenty z „tańszymi” modelami, dając im więcej czasu pracy. Wyniki pokazały, że przy normalizacji kosztów praca Mythos Preview nie wydaje się marnotrawna dla zadań wysokiej dokładności.
- Benchmarki – Przy stałym budżecie tokenów Mythos przewyższa Opus 4.6 w wyszukiwaniu luk internetowych, ale ustępuje GPT5.5.

4. Podsumowanie
Mythos Preview demonstruje wybitną moc przy audycie kodu źródłowego i programów natywnych oraz w zadaniach inżynierii odwrotnej i analizy aplikacji webowych. Jednak model czasami niedocenia rzeczywistej użyteczności znalezionych luk i wykazuje słabości w izolowanej analizie kodu. Przy ograniczonych zasobach tokenów Mythos może być bardziej opłacalny niż Opus, ale przy pełnym budżecie GPT5.5 pozostaje konkurentem.

Wniosek XBOW: Mythos Preview – niezawodne narzędzie do wykrywania potencjalnych luk w kodzie źródłowym i złożonych systemach, ale wymaga dodatkowego potwierdzenia praktycznej wartości znalezionych exploitów.