Datalab wydał OmniParseBench, otwarty benchmark do oceny parserów dokumentów, który stanowi zarazem narzędzie diagnostyczne dla inżynierów szukających rozwiązania dopasowanego do swoich potrzeb. Benchmark zawiera 16 288 testów tak/nie na 2 937 stronach pochodzących z 2 343 dokumentów reprezentujących 92 języki, podzielonych na 22 suites tematyczne. Każdy test stanowi proste pytanie o zawartość jednej strony, a wynik parsera to procent zaliczonych testów - wszystko jest transparentne i daje się rozkładać na poszczególne kategorie.
Narzędzie zostało zbudowane z myślą o praktyką: instaluje się przez pip install omni-parse-bench, wymaga Pythona 3.11+ i działa całkowicie offline, bez potrzeby kluczy API czy połączenia sieciowego. To fundamentalnie różni się od tradycyjnych leaderboardów, które dają jedynie globalny ranking - tutaj inżynier może sprawdzić wyniki konkretnie dla dokumentów podobnych do jego, sortując po tagach i kategoriach. Datalab sprzedaje własny parser, którego najlepszy wariant (Datalab accurate) zajmuje drugie miejsce z wynikiem 92,7 procent, zaraz za Gemini 3.8 Flash na czele rankingu z 92,9 procent, przy czym topowa trójka różni się zaledwie o 1,3 punktu.
Datalab oparł benchmark na doświadczeniach z poprzedniego rozwiązania (olmOCR-bench), które dowiodło wartości testów jednostkowych tak/nie. Kod i dataset są publiczne, co pozwala społeczności bezpośrednio audytować wyniki i adaptować benchmark do własnych wymagań. To podejście eliminuje typowy problem leaderboardów - zamiast spekulować czy dany parser się sprawdzi w praktyce, można po prostu sprawdzić jego zachowanie na stronach z danej domeny.