Badacze porównali cztery model LLM działające w trybie zero-shot z dwoma nadzorowanymi klasyfikatorami, aby przewidzieć ryzyko zmuszonych przerw w dostawie prądu spowodowanych pogodą. Eksperyment obejmował dane z sześciu lat działalności sieci dystrybucyjnej w centrum Teksasu, z podziałem na trzy okresy prognozy: 3, 6 i 12 godzin. Modele testowano z dwoma konfiguracjami wejścia - wykorzystując bieżące obserwacje pogodowe oraz dane z prognoz meteorologicznych.
Tradicyjne modele nadzorowane wykazały wyższość nad LLM-ami pod względem średniej F1 i precyzji, co nie jest zaskoczeniem biorąc pod uwagę dostęp do dużych zbiorów danych treningowych. Jednak nowsze generacje modeli językowych zbliżyły się do ich wydajności, mimo braku możliwości uczenia się z oznaczonych danych. To pokazuje postęp w ogólnych zdolnościach LLM-ów.
Badanie wykazało, że LJM-y mają dodatkowe atuty poza samą dokładnością klasyfikacji. Potrafią dostarczać jasne wyjaśnienia swoich decyzji - mogą pokazać, które elementy pogody wpłynęły na ich prognozę - co dla operatorów sieci ma ogromną wartość praktyczną. Ponadto modele językowe łatwiej skaluje się na nowe terytoria i obszary usług, bez konieczności zbierania i etykietowania nowych danych. Naukowcy sugerują, że połączenie zalet obu podejść - dokładności modeli nadzorowanych i wyjaśnialności LJM-ów - mogłoby stać się optymalnym rozwiązaniem dla prognozowania ryzyka awaryjności sieć.