Naukowcy z gałęzi AI opublikowali GeopoliticalQA - benchmark stworzony specjalnie do ewaluacji systemów retrieval-augmented generation pracujących z raportami geostrategicznego wywiadu. Zestaw zawiera 5525 par pytań i odpowiedzi rozprowadzonych na 415 otwartych raportach, obejmując cztery rodzaje pytań: faktyczne, inferencyjne, porównawcze oraz zorientowane na identyfikację ryzyka.
Benchmark powstał z konkretnego powodu - raporty wywiadu to bogata baza wiedzy eksperckiej, ale ich heterogeniczność i analityczna złożoność utrudniają tradycyjne systemy wyszukiwania. Zespół opracował pipeline generowania pytań, który profilu juje dokumenty przed ich przetworzeniem, a następnie zatrudnił ekspertów do walidacji oraz wykorzystał LLM-as-judge do automatycznej oceny jakości. To zapewniło wysoką wiarygodność benchmarku.
Wyniki testów 15 systemów wyszukiwania i sześciu otwartych modeli LLM ujawniły coś zaskakującego: przy wyszukiwaniu dokumentów jako całości modele zachowywały się podobnie, ale na poziomie fragmentów tekstu większa skala modelu embedding nie gwarantowała lepszych wyników. Średniorozmiarkowy bge-m3 dorównał modelom o rząd wielkości większym i przebił komercyjne API takich firm jak OpenAI czy Google. Jednak generowanie faktycznych odpowiedzi pozostało problemem - nawet gdy system miał dostęp do poprawnych fragmentów dokumentów, modele często zawodziły szczególnie w pytaniach wymagających wnioskowania lub analizy ryzyka geopolitycznego.