Nowy zbiór danych do klasyfikacji wiadomości finansowych w języku portugalu brazylijskiego

Zespół badawczy uruchomił nowy zdatacorpus zawierający 160 tysięcy artykułów wiadomości finansowych z brazylijskiego portugalu, by wyjść naprzeciw braku specjalistycznych zbiorów do trenowania systemów NLP dla tego języka. Artykuły zbierano z różnych źródeł internetowych i podzielono na podzestawy, które oznaczono zarówno ręcznie jak i przy użyciu dużych modeli językowych.

Do klasyfikacji wieloklasowej zastosowano trzy podejścia oparte na podobieństwie semantycznym: cosine similarity, K-Nearest Neighbors oraz FAISS-based nearest-neighbor search. Wszystkie metody korzystały z multilingual semantic embeddings. Na ręcznie oznaczonym podzbiorze algorytm KNN osiągnął najlepsze wyniki - 47,3% dokładności i 31,9% F1-score, tuż przed metodą FAISS. Znacznie gorzej wypadła klasyfikacja na danych oznaczonych przez LLM, gdzie przy około 50% dokładności F1-score spadł do zaledwie 20%.

Wyniki jasno pokazują, że klasyfikacja wiadomości finansowych w portugalu brazylijskim to trudne zadanie, które jest niezwykle wrażliwe na jakość etykiet i proporcje między klasami. Niska wydajność na słabych adnotacjach algorytmicznych potwierdza kluczową rolę ręcznych annotacji. Nowy zbiór danych i wstępne wyniki stanowią punkt wyjścia dla przyszłych badań nad Financial NLP dla tego języka, choć wyraźnie widać, że samo automatyczne etykietowanie nie wystarczy.