Badacze wykazali, że spatial priming, czyli technika oparta na informacji o położeniu elementów na wykresie, daje lepsze wyniki niż popularne semantic prompting w zadaniach ekstrakcji danych z grafik dla modeli LLM. Okazuje się, że zamiast prosić model o semantyczne zrozumienie zawartości wykresu, warto skupić się na precyzyjnym opisie, gdzie dokładnie znajdują się dane - ich współrzędne, rozmiary i wzajemne pozycje. To pozornie proste odkrycie ma jednak poważne implikacje dla praktycznego wykorzystania dużych modeli języka w analizie danych wizualnych. Nowe podejście opiera się na metodzie grid-based, która znacznie poprawia dokładność interpretacji tabelek, schematów i innych wizualizacji danych.
Znaczenie tej odkrycia tkwi w tym, że współczesne LLM-y mają trudności z precyzyjnym czytaniem informacji z grafik i tabel - jest to jedno z głównych ograniczeń technologii. Dotychczasowe próby rozwiązania problemu skupiały się na wzmocnieniu "rozumienia" semantic'n'ego, czyli przekazywaniu modelowi informacji o tym, co dany wykres reprezentuje konceptualnie. Spatial priming zmienia tę strategię na głowę: zamiast oczekiwać, że model "zrozumie" co widzi, podajemy mu strukturalną mapę wizualizacji, gdzie każdy element ma konkretne współrzędne w sieci.
To odkrycie ma bezpośrednie zastosowanie w branżach wymagających automatycznego czytania raportów finansowych, artykułów naukowych obfitujących w wykresy czy systemów analitycznych przetwarzających duże ilości danych wizualnych. Jeśli spatial priming okaże się solidną metodą w rzeczywistych projektach, mogłoby to całkowicie zmienić podejście do prompt engineeringu dla zadań wizualnych i uczynić LLM-y znacznie bardziej użytecznym narzędziem dla analityków danych i firm zajmujących się business intelligence.