Zespół badaczy rozszerzył podejście PAC-privacy na generowanie tekstu, poprzednio limitowane do zadań klasyfikacyjnych. Problem, który rozwiązują, jest ważny: gdy modele językowe są serwowane przez API, przecieki prywatności następują nie przez ujawnione wagi modelu, ale przez generowane odpowiedzi. Metoda tworzy 128 overlappingowych światów z prywatnego corpus, gdzie każdy rekord pojawia się w dokładnie połowie z nich, i trenuje oddzielny adapter dla każdego świata na zamrożonym modelu publicznym.
Architektura działa poprzez głosowanie: na każdy token model publiczny definiuje zbiór kandydatów, światy głosują, a ich posterior-weighted niezbieżność określa ilość szumu PAC - gdy światy się jednomyślnie zgadzają, nie trzeba dodawać kalibracyjnego szumu. Naukowcy dowodzą teoretycznej granicy przecieków informacji: I(S;Y_{1:T}) <= I(S;H_T) <= bT. Kluczowym wkładem jest wprowadzenie coupled decodingu, który utrzymuje prywatne zliczanie ochrony, zarazem unikając degeneracji zachłannego decodingu.
Wyniki na WikiText-103 z GPT-2-small pokazują, że system zachowuje 74% zysku z fine-tuningu przy jednoczesnym budżecie 2^-32 na token, podczas gdy ataki membership-inference mają ograniczoną skuteczność do 51,08% nawet po przetworzeniu miliona tokenów. To stanowi istotny postęp w praktycznym łączeniu prywatności różnicowej z generowaniem tekstu w skali.