Nowe badanie publikowane na arXiv wykazuje, że dualne cele zarówno klasyfikacji jak i regresji SVM są dokładnie zadaniami minimalizacji dywergencji Kullbacka-Leiblera pomiędzy dwiema miarami Gaussa. To fundamentalne odkrycie zmienia sposób, w jaki rozumiemy te klasyczne algorytmy.
Dotychczasowe traktowanie SVM skupiało się wyłącznie na geometrycznej maksymalizacji marginesu, co trzymało te metody w izolacji od probabilistycznych modeli uczenia maszynowego. Brak takiej probabilistycznej interpretacji utrudniał łączenie SVM z innymi algorytmami i porównywanie ich w ramach wspólnego teoretycznego systemu. Naukowcy demonstrują także, że ta sama formulacja dywergencji KL odzyskuje dokładną funkcję celu dla kernel ridge regression, gdy usuniemy ograniczenia domenowe i zastosujemy regularyzację L2.
Importancja tego wyniku polega na stworzeniu mostu między teorią geometryczną a teorią informacji. Poprzez wykazanie, że dualne cele SVM bezpośrednio minimalizują entropię względną, badanie dostarcza ujednoliconego modelu informacyjno-teoretycznego dla standardowych maszyn jądrowych. To tworzy solidne fundamenty do dalszego ujednolicenia szerszej rodziny algorytmów opartych na jądrach pod parasolern teorii prawdopodobieństwa, co może otworzyć nowe drogi dla hybrydowych podejść łączących zalety różnych algorytmów.