Naukowcy pracujący nad systemami automatycznego rozpoznawania mowy (ASR) dla recytacji Koranu zmierzyli się z kompleksowym problemem: jak odróżnić rzeczywiste błędy w recytacji od intencjonalnych powtórzeń, repair-ów czy przyjętych wariantów ortograficznych. Zespół przeprowadził ręczną annotację 100 nagrań produkcyjnych, obejmujących 348 jednostek oceny i 162 zdarzeń klasyfikowanych za pomocą dziesięciu kombinowanych etykiet.
Testy trzech coding agentów i ośmiu modeli ML wykazały znaczące zróżnicowanie w wydajności - wyniki F1 wahały się od 0,143 do 0,892. Siedem z testowanych podejść przewyższyło wszystkie baseline-y, ale jedno drastycznie zawiodło z powodu brakującego kroku normalizacji. Wyniki pokazały, że samo rozpoznawanie błędów nie stanowi już główne wyzwanie - aż 970 z 972 annotowanych zdarzeń otrzymało nakładające się predykcje od co najmniej jednego systemu. Problem tkwi w konwencji: ustaleniu dokładnego zakresu błędu i etykiet, których granice nie zawsze są wyraźnie widoczne w tekście.
Siedem z 162 zdarzeń nie zostało poprawnie zaklasyfikowane przez żaden z sześciu testowanych algorytmów, przy czym pięć z nich związane było z jedną ortograficzną regułą. Badanie podkreśla krytyczne znaczenie interfejsów annotacyjnych i procedur weryfikacji przed interpretacją wyników modeli - błędy w koordynowaniu słów mogą prowadzić do fałszywych wniosków o wydajności systemów.