Naukowcy pokazali, że differential privacy - technika matematyczna chroniąca prywatność osób, których dane trafiają do modeli sztucznej inteligencji - może jednocześnie walczyć z overfittingiem, czyli zjawiskiem, gdy sieć neuronowa zbyt dokładnie uczy się przykładów treningowych kosztem zdolności do pracy z nowymi danymi. To odkrycie otwiera nową perspektywę w projektowaniu bardziej niezawodnych i etycznych modeli deep learning.
Problem overfittingu to klasyczne wyzwanie w uczeniu maszynowym: model, który idealnie zna dane treningowe, niemal zawsze słabo sprawdza się w rzeczywistości. Dotychczas rozwiązania skupiały się na regularyzacji, dropout czy augmentacji danych - wszystkie mają jednak swoje ograniczenia. Differential privacy działała dotychczas głównie jako narzędzie do ochrony wrażliwych informacji, dodając zaszumienie do danych lub gradientów podczas treningu. Nowe badania ujawniają, że to szumienie, choć pozornie degraduje model, w praktyce przymusza go do uczenia się bardziej ogólnych cech - dokładnie tego, czego potrzeba do lepszej generalizacji.
Zastosowanie tej metody ma dwie istotne konsekwencje. Po pierwsze, modele można uczyć na wrażliwych danych personalnych - medycznych, finansowych czy biometrycznych - ze statystyczną gwarancją, że nie będą w stanie odtworzyć konkretnych przykładów treningowych. Po drugie, otrzymujemy efekt uboczny w postaci lepszej wydajności na nowych danych. To oznacza, że nie musimy już wybierać między bezpieczeństwem prywatności a jakością modelu - obie wartości idą w parze. Dla praktyki branżowej to zmienia kalkułację: firmy mogą responsywnie przetwarzać dane czułe, a jednocześnie unikać modeli, które są podatne na ataki polegające na wyjęciu treningowych próbek.