Naukowcy z arXiv opublikowali nowy framework o nazwie GVD (Governed Versioning and Deduplication), który rozwiązuje problem fragmentaryzacji w dużych repozytoriach dokumentów, gdzie polity i wytyczne ewoluują, ulegają zmianie i są przesyłane w wielu wersjach z tej samej treści. Zamiast traktować wersjonowanie, deduplikację i detekcję sprzeczności jako osobne zadania w parach dokumentów, GVD ujednolica te procesy pod jedną audytowalną polityką aktualizacji.
System przypisuje przychodzące dokumenty do rodzin wersji poprzez wyrównanie reguł w obie strony, a następnie porównuje ich reguły z pamięcią rodziny, aby zidentyfikować duplikaty, sprzeczności, asymetryczne ulepszenia i nową wiedzę. Kluczową innowacją jest metoda Counterfactual Span Probing (CSP), która rozwiązuje pary, które modele inferencji błędnie klasyfikują jako neutralne. Polityki specyficzne dla relacji tłumią duplikaty i eskalują tylko konsekwencyjne zmiany do przeglądu, zachowując liniję wersji jako ścieżkę audytu.
Pipeline działa całkowicie lokalnie bez large language models. Na zbiorze 120 dokumentów korporacyjnych przetwarzanych jako 140 ingestions w 59 rodzinach wersji, GVD osiągnął F1 0.97 dla konstruowania rodzin wersji oraz 0.94 dla spójności na poziomie reguł. Zastosowanie CSP podniosło spójność reguł z 0.90 do 0.94, co potwierdza skuteczność podejścia.