Elorian uruchomiło Glimpse - swój pierwszy model do wizualnego rozumowania, pozycjonując go jako nową kategorię systemu, który rozumuje o świecie fizycznym na podstawie tego, co widzi. Wraz z tym debiutem firma apresentowała benchmark DecoyCount, wspólnie opracowany z AI data company Mercor, który ma testować czy modele języka rzeczywiście liczą obiekty czy polegają na wizualnych skrótach i heurystykach substytucyjnych.
Wynikom z DecoyCount imponuje dokładnie to, co ujawnia: frontier modele takie jak GPT-6 Astra, najbardziej zaawansowane rozwiązania na rynku, osiągnęły zaledwie 43,17% dokładności - wszystkie poniżej progu 50%. Tymczasem Glimpse w testach wewnętrznych uzyskał 50,48%, przebijając te wielkie nazwy. Benchmark testuje siedem mechanizmów, które ujawniają interpretowalne błędy w liczeniu, zapewniając rzetelne porównanie między konkurencyjnymi systemami. Elorian, które wyszło ze stealth-modu w kwietniu z 55 milionami dolarów finansowania z udziałem Striker Venture Partners, Menlo Ventures i Altimeter Capital, pokazuje tym wynikami, że specjalistyczne modele wizualnego rozumowania mogą przewyższać bardziej uniwersalne systemy.
Wyniki sugerują że sama moc ogólnego rozumowania nie przenosi się automatycznie na zdolności wizualnego rozumowania. To odkrycie ma znaczenie dla przyszłości ewaluacji modeli - wskazuje, że benchmark'i takie jak DecoyCount mogą być bardziej wymawiające niż tradycyjne testy wizji. Dla przemysłu AI to sygnał, że może być przestrzeń dla specjalistycznych modeli, które skupiają się na konkretnych typach rozumowania wizualnego zamiast całkowitego polegania na frontier modelach do wszystkich zadań.