Naukowcy opracowali metodę Anchor, która zmniejsza problem tzw. dryfu artefaktów podczas automatycznego tworzenia testów dla systemów agentowych. Podczas generowania kolejnych wersji benchmark'ów, sztuczne elementy wprowadzane do testów mogą się przesuwać i zmieniać, co sprawia, że wyniki porównań między wersjami testów stają się mniej wiarygodne. To zjawisko stanowiło dotąd znaczną przeszkodę w ocenie rzeczywistej wydajności zaawansowanych modeli AI pracujących w trybie autonomicznego agenta.
Problem dryfu artefaktów jest szczególnie poważny, gdy system musi przechodzić serii testów w miarę swojego rozwoju. Jeśli poszczególne benchmarki zmienia się nieznacznie z generacji na generację w trudny do przewidzenia sposób, nie wiadomo, czy poprawa wyniku wynika z faktycznego postępu technologicznego, czy jedynie ze zmian parametrów testu. Powoduje to zamieszanie w interpretacji wyników i utrudnia naukowcom tworzenie wiarygodnych porównań pomiędzy konkurencyjnymi rozwiązaniami.
Metoda Anchor rozwiązuje ten problem poprzez wprowadzenie mechanizmów stabilizujących testy. Nowe podejście zapewnia, że kluczowe elementy benchmark'ów pozostają spójne między kolejnymi wersjami, podczas gdy pozostałe elementy mogą ewoluować w kontrolowany sposób. To rozwiązanie ma istotne znaczenie dla przyszłości ewaluacji sztucznej inteligencji, szczególnie w kontekście coraz bardziej zaawansowanych agentów autonomicznych. Dzięki bardziej niezawodnym metodom testowania naukowcy będą w stanie prowadzić rzetelne porównania postępów technologicznych i lepiej oceniać rzeczywiste możliwości i ograniczenia powstających systemów.