Naiwny Bayes kontra duże modele językowe w klasyfikacji tekstu

Duże modele językowe nie zawsze są lepszą opcją od klasycznych algorytmów uczenia maszynowego - taki jest główny wniosek z badań opublikowanych na arXiv. Naukowcy porównali Complement Naive Bayes z modelami LLM skalującymi się od 27 miliardów do biliona parametrów (w architekturze mixture-of-experts) na zadaniach klasyfikacji tekstu. Wyniki pokazują wyraźny podział: LLM-y zwyciężają w zerośrodkowych scenariuszach (bez danych treningowych), osiągając 98 procent dokładności na Amazon Polarity względem 88,2 procent dla Naive Bayes. Jednak przewaga ta jest podatna na zanieczyszczenie danymi treningowymi - na testach niedotknętych kontaminacją klasyczny algorytm uzyskał lepsze wyniki (81,7 procent vs 73,0 procent).

Gdy pojawiają się oznaczone dane treningowe, sytuacja drastycznie się zmienia. Naive Bayes na zbiorze AG News uzyskał 89,1 procent dokładności, statystycznie nieróżniący się od zerośrodkowego 27-miliardowego LLM-a (89,0 procent) i lepszy od największego testowanego modelu 397 miliardów parametrów (84,8 procent). Wszystko to przy możliwości przetwarzania tysięcy próbek na sekundę na zwykłym procesorze CPU. Fine-tunowany DistilBERT osiągnął nieco wyższą dokładność (90,6 procent), ale przy znacznie niższej przepustowości niż Naive Bayes dla pojedynczych próbek.

Analiza energetyczna ujawnia strukturalną przepaść między podejściami: inferencja małych LLM-ów na GPU jest 40 do 486 razy wolniejsza niż przetwarzanie Naive Bayes na CPU, z grubsza dwie rzędy wielkości wyższym zużyciem energii na próbkę. Dla badaczy HPC pracujących z ograniczonymi zasobami i posiadających dane treningowe, klasyczny Naive Bayes pozostaje optymalnym wyborem. Punkt przełomu, gdzie LLM-y stają się konkurencyjne, jest zależny od zadania - dla klasyfikacji tematycznej wynosi około dziesięć tysięcy oznaczonych przykładów, zaś dla analizy sentymentu wymagać może znacznie więcej.