Datalab przedstawił OmniParseBench - otwarty benchmark testujący parsery dokumentów na zbiorze 16 288 precyzyjnych testów pass-or-fail rozłożonych na 2 937 stronach różnych typów dokumentów. Zestaw zawiera skanowane formularze, tekst odręczny, artykuły matematyczne z arXiv oraz gęste tabele, oferując kompleksową ocenę możliwości parserów w rzeczywistych scenariuszach.
Badacze przeanalizowali wyniki dla 27 parserów, przebudowując ranking na podstawie oficjalnych werdyktów. Ich analiza ujawniła kluczowe wnioski: dwa najlepsze parsery są statystycznie równorzędne, ranking znacznie się zmienia w zależności od typu dokumentu, a niektóre opublikowane dane różnią się od rzeczywistych plików. Pracownicy tego badania także ręcznie testowali parsery OCR Tesseract i Indra na próbce 50 stron, mierząc pewność rankingu i analizując słabe punkty.
OmniParseBench stanowi ważny krok w kierunku uczciwej oceny technologii przetwarzania dokumentów, pokazując że samo przejrzenie liderboarda może być mylące. Narzędzie pozwala deweloperom na bardziej szczegółową analizę wydajności parserów na konkretnych typach dokumentów i pomaga zidentyfikować, gdzie rzeczywiście znajdują się różnice między konkurencyjnymi rozwiązaniami.