Naukowcy opublikowali FindMyText - open-source'owy pakiet Pythona do wyszukiwania tekstu w dużych zbiorach danych. Narzędzie wykorzystuje techniki fingerprint'owania dokumentów, ale dodaje do nich nowatorski mechanizm śledzenia sekwencji pasujących fingerprint'ów, co pozwala bardziej wiarygodnie identyfikować prawie dosłowne kopie tekstu zamiast jedynie podobieństw tekstowych.
Wykrywanie zawartości tekstowej ma praktyczne zastosowanie zwłaszcza w weryfikacji obecności materiałów chronionych prawem autorskim w korporusach. FindMyText wykorzystuje rozproszone, przechowywane na dysku indeksowanie, co umożliwia skalowanie do bardzo dużych zbiorów danych zebranych z internetu. Badacze wykazali na nowym benchmark'u, że FindMyText przewyższa alternatywne podejścia na trzech zbiorach testowych: artykułach ArXiv, Wikipedii i generycznej zawartości webowej.
Takiego narzędzia potrzebuje wspólnota badawcza do monitorowania deduplikacji danych treningowych modeli AI oraz weryfikacji oryginalności zawartości w zbiorach danych. FindMyText może być szczególnie przydatny dla zespołów odpowiedzialnych za przygotowanie czystych zbiorów treningowych, gdzie eliminacja zduplikowanych lub podobnych fragmentów tekstów jest kluczowa dla jakości modeli.