Naukowcy pracujący nad sztuczną inteligencją stali przed fundamentalnym wyzwaniem: duże modele językowe hallucynują liczby i dane meteorologiczne, co jest niebezpieczne w komunikacji pogodowej wysoko obstawionej na dokładności. Dlatego właśnie powstał AFDBench - pierwszy benchmark do ewaluacji zdolności AI do generowania profesjonalnych Dyskusji Prognoz Terytorialnych (AFD) na podstawie rzeczywistych danych pogodowych.
Benchmark zawiera 7732 dyskusje napisane przez ekspertów z 13 biur Narodowej Służby Meteorologicznej USA, sparowane z rzeczywistymi danymi pogodowymi z systemu WeatherNext 2 Google. Stworzono trzy metryki ewaluacyjne: Met-Align mierzy dokładność numeryczną, Style-Align sprawdza zgodność z profesjonalnym stylem meteorologicznym, a Input-Grounding ocenia wierność wobec danych źródłowych. Testowanie gotowych modeli open-source ujawniło marną naukę: Style-Align na poziomie około 0,33 oraz przeciętny Input-Grounding około 0,88 - modele po prostu nie potrafią pisać w profesjonalnym rejestrze meteorologicznym i niedbale wykorzystują dostępne dane.
Rozwiązanie przyniosła optymalizacja Group Relative Policy Optimization (GRPO) z nagrodami specjalnie dostrojonym do domeny meteorologicznej. Na próbie 1033 testowych przypadków z dwóch nieznanych wcześniej biur NWS model 7-miliardowy prawie podwoił Style-Align z 0,318 do 0,619 i poprawił Input-Grounding z 0,881 do 0,940. To pokazuje, że uczenie wzmacniające potrafi nauczyć AI pisania jak prawdziwy meteorolog i wiernego interpretowania danych pogodowych - ważne dla bezpieczeństwa komunikacji pogodowej, gdzie każdy błąd liczbowy może mieć realne konsekwencje.