Naukowcy z arXiv CS.AI zbadali najefektywniejsze techniki klasyfikowania mowy nienawiści w roman urdu - dialekcie urdu zapisywanym znakami łacińskimi, używanym głównie w Pakistanie i diasporze Pakistani. Wyzwaniem jest nieregularna gramatyka, chaotyczna struktura zdań i zmienne formy słów, a do tego brak dużych zbiorów treningowych oznaczających tę niedoreprezentowaną parę język-zadanie.
Team przeprowadził cztery eksperymenty testujące różne strategie. Pierwsza to bezpośrednie wnioskowanie z LLM bez żadnego dostrajania - test jak dobrze duże modele naturalne radzą sobie z roman urdu w warunkach zero-shot. Druga to parameter-efficient fine-tuning z LoRA, technika aktualizująca tylko niewielki procent parametrów modelu, drastycznie zmniejszając koszty obliczeniowe. Trzecia to prompt tuning, który stosuje zarówno automatycznie generowane jak i ręcznie crafted prompty na małych zbiorach przykładów. Czwarta procedura nie została w pełni opisana w abstrakcie.
Rezultaty są ważne dla ochrony mniejszościowych społeczności online - pokazują, że można skutecznie moderować treść nawet w niskoźródłowych wariantach języków bez potrzeby trenowania ogromnych modeli od zera. To szczególnie przydatne dla platform społecznych popularne wśród Pakistańczyków i diaspory, gdzie bots moderacyjne tradycyjnie słabiej funkcjonują.