Naukowcy z arXiv zaprezentowali OriginBlame, system umożliwiający dokładne śledzenie pochodzenia danych treningowych na poziomie poszczególnych rekordów i tokenów. Problem, który rozwiązuje, ma fundamentalne znaczenie dla prywatności w erze wielkojęzykowych modeli - gdy autor zażąda usunięcia swoich danych, dotychczasowe systemy zmuszały do usuwania całych plików lub zbiorów danych, co niszczyło znacznie więcej informacji niż zamierzone.
Istniejące podejścia operowały na poziomie zbiorów danych lub plików, co skutkowało katastrofalnym przeuczeniem podczas usuwania - średnio usuwano 101 razy więcej danych niż faktycznie pochodziło od danego autora. OriginBlame propaguje tożsamość autora przez wszystkie etapy przetwarzania danych i rozwiązuje prośby o usunięcie za pomocą precyzyjnych zapytań determinističych, sprowadzając nadmierne usunięcie do zaledwie 1,3 raza. Testowanie na 219 555 stronach Wikipedii wykazało rzeczywistą wartość tego podejścia.
Integracja systemu dodaje 1,3-4 procent narzutu wydajności w HuggingFace i 2,1-19 procent w Datatrove na danych wiki, co jest akceptowalnym kompromisem dla zwiększonej precyzji. Szczególnie ważne, że na modelu o rozmiarze 1,7 miliarda parametrów, wykorzystanie zbiorów zapomnianych opartych na proweniancji poprawiło efektywność algorytmów unlearning o 42 procent w porównaniu z losowym wyborem danych. To sugeruje, że precyzyjne śledzenie pochodzenia danych może znacznie poprawić praktyczną implementację praw do bycia zapomnianym w modelach sztucznej inteligencji.