Organizacje szukające agentów AI do pracy w bezpieczeństwie muszą wybierać między otwartymi modelami wagi, którymi mogą zarządzać i audytować samodzielnie, a znacznie droższymi zamkniętymi modelami frontier. Badanie na benchmark'u CTI-REALM porównało aż 26 modeli - 19 otwartych i 7 zamkniętych - w identycznych warunkach, z tym samym mechanizmem oceniania i panelem sędziów opartym na LLM-ach.
Głównym odkryciem jest, że otwarte modele mogą osiągnąć wyniki porównywalne do najsilniejszych rozwiązań zamkniętych przy koszcie poniżej jednej dziesiątej. Jednak badacze znaleźli istotny problem: oryginalny limit wiadomości agenta w benchmark'u zniekształcał wyniki. Zadania, które wyczerpały ten limit, otrzymywały zero punktów nawet jeśli wcześniej przeszły punkty kontrolne, więc rezultaty częściowo mierzyły jedynie które modele skończyły na czas.
Po zniesieniu tego sztucznego ograniczenia obraz się zmienił. Modele, które wcześniej były obcinane, odzyskały pełną funkcjonalność, a najwyższe nagrody przypadły modelom otwartym. Ciekawym wnioskiem jest także to, że cena jest słabym wskaźnikiem możliwości - modele z podobnymi wynikami różnią się kosztem o ponad rząd wielkości. Badacze wprowadzili też nowe metryki na poziomie etapów, które oceniają faktycznie złożone przez agenta detektory poprzez wykonanie ich zapytań w magazynie telemetrii.