Badacze z arXiv opublikowali TauIndianBankBench, benchmark specjalnie zaprojektowany do oceny asystentów conversacyjnych w kontekście usług bankowych. Narzędzie zawiera tysiąc realistycznych zadań z indyjskiej bankowości detalicznej, gdzie AI ma pomagać symulowanym klientom w obsłudze takich zapytań jak zablokowanie karty czy zamknięcie lokaty. Kluczowa różnica tego benchmarku to weryfikacja nie tylko ostatecznego wyniku, ale także każdego kroku procedury wymaganego przez bank.
Problem, który rozwiązuje TauIndianBankBench, leży w zwyczajowych metodach ewaluacji. Tradycyjne benchmarki sprawdzają tylko rekordy pozostawione na koniec rozmowy. Wiele wymaganych kroków procedury jednak nie zmienia tych rekordów - na przykład otrzymanie kwotowania przed zamknięciem depozytu lub weryfikacja danych klienta. Asystent, który te kroki pominął, mógł mimo to uzyskać ocenę sukcesu. Badania pokazały, że aż 6,5-12,0% sesji otrzymuje pozytywną ocenę przy standardowej metodzie, choć AI pominęło kroki procedury lub dokonało zmian, których nikt nie życzył sobie.
To odkrycie ma znaczące konsekwencje dla wdrażania chatbotów w bankowości. Jeśli modele są oceniane только na podstawie efektu końcowego, mogą przejść testy i zostać wdrożone mimo niedotrzymywania kluczowych procedur, co grozi ryzykiem compliance'u i niespełnieniem regulacji. TauIndianBankBench proponuje ścieższą ocenę działań pośrednich, dając bardziej wiarygodny obraz gotowości modeli do realnych zadań bankowych. Benchmark otwiera też drogę do lepszego fino-tuningu modeli dla wymagających domen procedurowych.