Naukowcy z komunity AI opublikowali szczegółowe badanie pokazujące, jak dobrze współczesne modele językowe radzą sobie z ekstrakcją strukturalnych informacji z dokumentów w warunkach rzeczywistych. Testowali pięć popularnych modeli decoder-only - Gemmę, Mistrala, Qwen2.5, LLaMA 3 i DeepSeeka - na trzech znanych zbiorach benchmarkowych: FUNSD, CORD i SROIE. Każdy model oceniali zarówno na czystym tekście, jak i na wyniku pracy trzech narzędzi OCR: PaddleOCR, EasyOCR i Tesseract.
Wyniki ujawniają interesujący paradoks. Gdy tekst jest wysokiej jakości, nowoczesne LLM wykazują się imponującą zdolnością semantic reasoning i osiągają wyniki porównywalne z systemami specjalistycznymi opartymi na świadomości layoutu dokumentu. Problem pojawia się jednak w rzeczywistych scenariuszach - gdy szum OCR zaburza wejście. W takich warunkach wydajność wszystkich modeli spada drastycznie, a różnice między słabszymi a mocniejszymi modelami prawie zanikają. Badacze wykazali, że przy zaszumionej ocenie jakość narzędzia OCR staje się ważniejsza niż rozmiar samego modelu.
Badanie identyfikuje także konkretne problemy, z którymi borykają się LLM w takich warunkach: błędne dopasowywanie par klucz-wartość, hallucynacje informacji, czyli wymyślanie danych, które nie są w dokumencie, oraz uszkodzenie liczb i wartości numerycznych. Te ustalenia są ważne dla osób wdrażających systemy ekstrakcji danych w praktyce, pokazując, że przed wrzuceniem dokumentu do LLM warto zadbać o najlepszą możliwą jakość OCR.