Badacze z arXiv zaproponowali nowe podejście do analizy wycieku danych treningowych z modeli języka naturalnego, podważając skuteczność standardowych miar bezpieczeństwa. Zamiast polegać na zagregowanych metrykaach ROC-AUC, przeanalizowali rzeczywiste scenariusze, w których konkretne dane treningowe mogą być odtworzone z modelu poprzez pobieranie próbek z rozkładu wyjściowego modelu. Ich probabilistyczne podejście ujawnia wymiary problemu całkowicie niedostrzegalne w tradycyjnych testach.
Experymenty pokazały, że proste, ślepe klasyfikatory bag-of-words mogą osiągać bardzo wysokie wyniki (AUC 0,97 na WikiMIA) niezależnie od tego, czy model jest rzeczywiście badany, czy testowany na czystych danych. To oznacza, że sama wiedza o tekście wejściowego może być wystarczająca do odgadnięcia członkostwa. Na modelach takich jak Pythia-6.9B naukowcy zaobserwowali, że konkretne identyfikatory lub adresy email z dokumentów treningowych mogą być dokładnie odtworzone, a zagrożenie to rośnie proporcjonalnie do wielkości modelu - od 5,6 procent dla wersji 410M do 16,6 procent dla 6,9B. Rzecz istotna: leaki dotyczą głównie kodu (około 3 razy silniejsze), choć tekst prozaiczny również wykazuje pozytywny trend wzrostu ryzyka.
Badanie kwestionuje całą metodologię ewaluacji bezpieczeństwa modeli językowych i wskazuje, że agregacyjne metryki mogą całkowicie maskować rzeczywiste zagrożenia dla bezpieczeństwa danych. Nawet jeśli model ogólnie uważa się za bezpieczny, konkretne docsumenty mogą być podatne na ekstrakcję informacji. To ma znaczące implikacje dla praktyk treningowych i wymaga nowych podejść do oceny prywatności w modelach generatywnych.