Badacze z arXiv opublikowali H2DF, nową metodę do kontrolowanego unlearning w modelach języka, która rozwiązuje kluczowy problem istniejących podejść. Tradycyjny gradient ascent (GA) stosowany do zapominania danych ciągle zwiększa stratę, nawet po osiągnięciu użytecznego zapomnienia, co prowadzi do uszkodzenia zachowanych zdolności modelu i nadmiernie wysokich strat dla usuniętych przykładów.
H2DF wprowadza kalibrowany zakres docelowy, który stosuje ciśnienie podobne do GA poniżej dolnej granicy, a następnie je zmniejsza lub odwraca po osiągnięciu docelowego obszaru. Granice są szacowane z nieprzypadkowych przykładów przed treningiem, co wymaga jednego przebiegu forward-backward na krok optymalizacji. Na benchmarku TOFU metoda osiąga stratę zapomnienia (forget NLL) na poziomie 1.528 i stratę retencji (retain NLL) 1.165, dorównując GradDiff przy znacznie niższej zmienności. Wariant dla modelowania języka MUSE-News wykazuje konkurencyjne wyniki wobec innych podejść, choć nie dominuje wszystkie z nich.
Badania ablacyjne potwierdzają, że górna granica zakresu zmniejsza nadmierne efekty i że selekcja checkpoint-ów na podstawie walidacji jest kluczowa. Praca sugeruje, że kalibrowane zakresy docelowe to praktyczny mechanizm do kontrolowania siły zapomnienia w modelach AI, choć ujawnia również wrażliwość na losowe inicjalizacje i parametry kalibracji. To ważne dla bezpieczeństwa i prywatności AI, zwłaszcza w kontekście usuwania niewłaściwie zgromadzonych lub wrażliwych danych z wytrenowanych modeli.