Zespół badaczy zaprezentował Grokers, nową architekturę do inteligentnego przetwarzania grafów wiedzy, która zmienia sposób pracy sztucznej inteligencji z strukturyzowanymi danymi. Zamiast czekać na zapytanie użytkownika, aby dopiero wtedy analizować graf wiedzy, system przenosi całą pracę intelektualną na fazę zapisu danych. Autonomiczne agenty Groker przeskanowują węzły, ekstrahują z nich strukturyzowane atrybuty przy pomocy modeli językowych, a następnie hierarchicznie komponują tę wiedzę w górę zależności. Rezultat? Gdy użytkownik zadaje pytanie, system praktycznie nie musi już zaangażować modelu językowego do dodatkowych obliczeń.
To podejście stanowi zasadniczą zmianę podejścia wobec dotychczasowych rozwiązań typu retrieval-augmented generation (RAG), które za każdym pytaniem ponoszą pełny koszt obliczeniowy. Grokers przesuwając inteligencję na etap przygotowania danych, osiąga coś znacznie efektywniejszego: zerowe dodatkowe koszty LM dla każdego następnego zapytania. Badacze udowodnili trzy formalne właściwości swojej architektury. Pierwsza gwarantuje identyczność bloków kontekstu pomiędzy kolejnymi turami, co umożliwia osiągnięcie wskaźnika trafień KV-cache zbliżającego się do stu procent. Druga wykazuje, że procent interakcji rozwiązywanych bez modelu językowego systematycznie rośnie wraz z liczbą przetworzonych zapytań. Trzecia określa unikalne poprawne kierunki przechodzenia grafu dla generacji i comprehensji.
Dla praktyki oznacza to ogromne oszczędności zasobów obliczeniowych, szczególnie w systemach obsługujących tysiące lub miliony zapytań na tych samych bazach wiedzy. Zamiast wielokrotnie analizować te same struktury danych, model inteligentnie przygotowuje je raz, a potem korzysta z przygotowanej wiedzy. To szczególnie cenne dla przemysłu, gdzie czasy odpowiedzi i koszty operacyjne bezpośrednio wpływają na rentowność aplikacji opartych na AI.