Badacze z LILT opublikowali τ-bench-LILT, rozszerzenie benchmarku τ3-bench do oceny agentów konwersacyjnych w czterech dodatkowych językach poza angielskim. Benchmark natywnie lokalizuje każdą warstwę ewaluacji: bazy danych klientów zawierają kulturowo odpowiednie rekordy, symulatory użytkowników zostały iteracyjnie dopracowane poprzez kontrastywną adnotację przez ekspertów mówiących w danym języku, a zadania odzwierciedlają realistyczne scenariusze w poszczególnych regionach i branżach.
Obejmuje języki niemiecki, koreański, turecki i farsi w czterech dziedzinach biznesu: lotnictwie, handlu detalicznym, telekomunikacji i bankowości. Testy przeprowadzone na ośmiu różnych modelach agentów pokazały spora spadki wydajności w porównaniu do wersji angielskojęzycznej, osiągając maksymalnie 61 punktów straty w metryce pass@4 dla języka koreańskiego w domenie handlu detalicznego.
To badanie ujawnia krytyczną lukę w ewaluacji agentów AI - zdecydowana większość testów benchmarkowych skupia się na angielszczyźnie, co pozostawia mało informacji dla organizacji wdrażających te systemy na rynkach multilingual. Wyniki sugerują, że wydajność agentów znacznie się pogarsza w niektórych językach i kontekstach kulturowych, co ma duże znaczenie dla rzeczywistego wdrażania w globalnym biznesie. Benchmark i kod zostały udostępnione publicznie.