Legora zmaga się z zasadniczym paradoksem - jego agenci AI wykonują pracę prawną dla klientów, ale zespół programistów nigdy nie może zobaczyć rzeczywistych dokumentów ani śladów działania systemu z powodu tajemnicy zawodowej i prywatności danych. To stawiało przed firmą fundamentalne wyzwanie: jak testować i doskonalić agenta, jeśli nie widać jego codziennej pracy?
Team rozwiązał to, budując testowe środowiska modelowane na rzeczywistej pracy klientów, podobnie do światów używanych w uczeniu wzmacniającym. Trzech inżynierów i trzech prawników pracuje razem, aby stworzyć reprezentatywne scenariusze do testowania. Dobrym przykładem jest problem cytowań - model początkowo miewał rację w 70 procentach przypadków, ale po jednym wydaniu wzrósł do 99 procent, bez żadnych zmian ze strony Legory. Jacob Lauritzen zauważa, że modele już dobrze sobie radzą z około 60 procentami pracy prawniczej, ale reszta wymaga bardziej zaawansowanych podejść.
Agenci Legory mogą nie tylko redagować i edytować dokumenty Word, lecz także przeglądać dziesiątki tysięcy kontraktów w pojedynczej tabeli lub prowadzić due diligence. System koordynuje pracę między prawnikami, klientami i innymi agentami - sam Legora wykorzystał go do sprawdzenia transakcji podczas swoich przejęć. Firma długo opierała się dodaniu wyboru modelu, aż wreszcie go wdrożyła, wybierając architekturę opartą na Azure zamiast tradycyjnych rozwiązań.