Zespół naukowców opracował framework do wyszukiwania spraw sądowych, w którym agent zasilany LLM automatycznie uczy się tworzyć efektywne reguły do przepisywania zapytań, bez konieczności trenowania modelu parametrów. System samoewoluuje poprzez iteracyjne generowanie reguł, planowanie eksperymentów walidacyjnych nad kombinacjami reguł i eliminowanie nieefektywnych wariantów na podstawie zebranych danych zwrotnych. Podejście to ulepsza klasyczny algorytm BM25, który pomimo pojawienia się gęstych modeli retrieval pozostaje silnym baseline'em w domenie prawa.
Problem wyszukiwania spraw sądowych leży w złożoności języka prawniczego i wymaganym precyzyjnym wyrównaniu leksykalnym między zapytaniami a istotnymi przypadkami. Choć modelami dense retrieval osiągnęły znaczący postęp, empiryczne badania pokazują, że tradycyjne podejścia wciąż stanowią konkurencję. Propozycja samoewoluującego agenta jest interesująca, bo eliminuje konieczność ręcznego projektowania reguł przez ekspertów, a zamiast tego pozwala systemowi autonomicznie odkrywać efektywne transformacje zapytań.
Eksperymenty na chińskim benchmarku LeCaRD-v2 wykazały, że framework przewyższa zarówno ręcznie zaprojektowane reguły, jak i podejścia greedy'ego, szczególnie gdy wspierana jest przez potężniejszy model LLM. Analiza mechanizmów samoewolucji ujawniła, że kluczową rolę odgrywa zdolność LLM do wykorzystania poprzednich wyników eksperymentów oraz wrodzona wiedza o eliminacji nieefektywnych reguł. To sugeruje potencjał dla adaptacyjnych systemów specjalistycznych, które rozwijają się poprzez eksperymentowanie zamiast tradycyjnego trenowania.