Badacze z Anthropic wykorzystali model Claude Mythos do przeprowadzenia kryptoanalizy istniejących algorytmów kryptograficznych. System znalazł matematyczne flaws zarówno w HAWK jak i osłabionej wersji AES, pracując nad problemem przez 60 godzin przy szacunkowym koszcie około 100 tys. dolarów w API.
Kluczowy wniosek z eksperymentu to znaczenie odpowiedniego promptingu i ludzkiego wsparcia. Modele początkowo miały tendencję do rezygnacji, uważając problem za nierozwiązywalny. Naukowcy musieli wielokrotnie zachęcać model do kontynuacji pracy, podkreślając, że szukają wyników godnych publikacji, a nie łatwych rozwiązań. Prompty zawierały poprawki i wyjaśnienia pokazujące, że nawet modele wysokiej klasy wymagają wskazania kierunku i motywacji do ataku na trudne problemy badawcze.
Projekt zaowocował stworzeniem CryptanalysisBench - nowego benchmarku do ewaluacji zdolności LLM w kryptoanalizie, opracowanego wspólnie z ETH Zurich, Uniwersytetem Tel Awiwu i Uniwersytetem Haify. Choć odkryte słabości nie stanowią zagrożenia dla współczesnych systemów, prace te otwierają nowy kierunek w wykorzystaniu sztucznej inteligencji do badań bezpieczeństwa kryptograficznego.