Istniejące benchmarki dla agentów AI oceniają je głównie na izolowanych zadaniach lub syntetycznych danych, pomijając rzeczywistość pracy zespołowej. SlackBench zmienia to podejście, proponując ocenę agentów na realistycznych scenariuszach badawczych i inżynierskich, gdzie krytyczne informacje rozproszony są w komunikacji, zmianach kodu i ewoluujących decyzjach. Benchmark zawiera 140 różnorodnych zapytań, od heterogenicznych wyszukiwań źródeł, poprzez abstencję na pytaniach bez odpowiedzi, aż do syntezy informacji z długich rozmów.
Kazde zadanie wymaga od agenta pracy z rzeczywistą dynamiką zespołu: lokalizacji odpowiednich kanałów i wiadomości bezpośrednich, odtworzenia kontekstu z długich dyskusji, sprawdzenia stanu repozytorium, pogodzenia sprzecznych informacji i syntezy wiedzy z wielu źródeł. Benchmark opiera się na prawdziwych projektach akademickich, ale w wariancie chroniącym prywatność, zapewniając powtarzalne środowiska z realistycznym dialogiem wielostronnym i odpowiadającymi mu zmianami w repozytoriach GitHub oraz dokumentach Google.
To podejście krytycznie odbiega od tradycyjnych testów typu question answering na statycznych korpusach, odkrywając nowe wymiary zdolności agentów. Agenci muszą nauczyć się, które rozmowy są istotne, nawigować między wątkami, inspekcjonować kod i wyciągać wnioski z niedostatecznych lub przestarzałych informacji - dokładnie to, co robią prawdziwi pracownicy w dynamicznych zespołach.