Naukowcy opracowali GeoFitBench-LLM, pierwszy benchmark specjalizowany w ocenie umiejętności wielkich modeli językowych do analizy wymogów danych geoprzestrzennych. Benchmark bada, czy LLM potrafią prawidłowo identyfikować zbiory danych, zasoby wspierające i ograniczenia potrzebne do wykonania złożonych zadań analitycznych zawartych w zapytaniach w języku naturalnym.
Problema, którą rozwiązuje nowa metoda oceny, jest fundamentalna dla systemów GeoAI: bez poprawnej identyfikacji wymogów dotyczących danych geoprzestrzennych LLM nie mogą niezawodnie wspierać zadań analitycznych wymagających poboru specyficznych zasobów. Benchmark strukturyzuje ewaluację wokół dwóch wymiarów rozumowania - Spatio-Temporal Relational i Semantic Grounding - które odzwierciedlają klasyczne wyzwania w retrieval danych geoprzestrzennych i powiązanych zadaniach NLP. Wymogi zostały zakodowane w niezależnym od dostawcy schemacie, co umożliwia powtarzalne testy niezależnie od platformy.
Eksperymentów przeprowadzono na siedmiu modelach z minimalnym promptowaniem. GPT-4 Thinking uzyskał najlepszy wynik, prawidłowo identyfikując kompletny zestaw zasobów w 66,67% przypadków. Wyniki ujawniły jednak, że precyzyjna specyfikacja przydatności danych dla użytkownika - fitness-for-use - pozostaje znacznie trudniejsza, zwłaszcza gdy rośnie złożoność inferencyjna zadania. To wskazuje na obszar, w którym obecne LLM wymagają jeszcze wyraźnego ulepszenia.