Naukowcy zaproponowali nowe podejście do oceny systemów OCR skoncentrowane na tym, czy znaczące informacje takie jak nazwy osób, daty i identyfikatory zostały prawidłowo rozpoznane w dokumentach historycznych. Tradycyjne metryki jak Character Error Rate nie odzwierciedlają rzeczywistej użyteczności transkrypcji dla archiwistów i historyków.
Badania przeprowadzone na 175 dokumentach z Archiwum Berruttiego pokazały istotne różnice w wydajności testowanych systemów w zależności od zastosowanego kryterium oceny. Model Qwen 3.6 wykazał najlepsze rezultaty w przechowywaniu encji we wszystkich wariantach testów, jednak wiele innych systemów wykazało znaczną poprawę wydajności gdy dopuszczano drobne błędy znakowe. Wskazuje to że wiele błędów tych systemów to lokalne odchylenia znakowe a nie fundamentalnie błędne transkrypcje.
Wykrycia te mają znaczące implikacje dla digitalizacji archiwów historycznych - pokazują że jakość OCR nie może być w pełni scharakteryzowana tylko na podstawie zagregowanych metryk transkrypcji. Badacze udostępnią publicznie benchmark zawierający 5209 ręcznie otagowanych encji, co umożliwi bardziej precyzyjną ocenę przyszłych systemów OCR w kontekście rzeczywistych potrzeb archiwów.