Surge HQ zaprezentował nowy benchmark o nazwie Dayjob: Tax, który testuje zdolności agentów AI w wykonywaniu autentycznych zadań podatkowych. Benchmark składa się z 50 rzeczywistych, profesjonalnych assingmentów z zakresu podatków i rachunkowości, co stanowi znacznie bardziej realistyczną ocenę niż standardowe testy na sztucznych danych.
Ewaluacja agentów AI na rzeczywistych, zawodowych zadaniach jest kluczowa dla zrozumienia, jak blisko jesteśmy od automatyzacji znowu profesji wymagających specjalistycznej wiedzy. Dotychczasowe benchmarki często nie oddawały złożoności pracy podatkowca czy księgowego, gdzie wymagane są nie tylko znajomość przepisów, ale i umiejętność interpretacji kontekstu, komunikacji z klientami oraz podejmowania decyzji związanych z odpowiedzialnością prawną.
Publikacja Dayjob: Tax przyciągnęła zainteresowanie środowiska AI i biznesu - post na Hacker News uzbierał 120 punktów i 72 komentarze. Wyniki mogą mieć znaczenie dla branży usług finansowych, gdzie kwestia automatyzacji pracy księgowych i doradców podatkowych staje się coraz bardziej realna. Benchmark pokazuje również, że branża zaczyna tworzyć narzędzia do bardziej rzetelnej oceny gotowości AI do przejęcia obowiązków w zawodach tradycyjnie zastrzeżonych dla licencjonowanych specjalistów.