StateBench to nowy benchmark opracowany przez zespół z Hugging Face i współpracowników, który mierzy zdolność dużych modeli języka do śledzenia zmian stanu w obszernych dokumentach. W przeciwieństwie do tradycyjnych testów, benchmark skupia się na scenariuszach, gdzie atrybuty postaci czy obiektów ulegają zmianom w trakcie tekstu - na przykład zmiana lokalizacji bohateralena, czy modyfikacja jego stanu emocjonalnego. Modele muszą prawidłowo odpowiadać na pytania o aktualny stan, mimo rosnącej złożoności i długości narracji.
Problematyka ta jest kluczowa dla rzeczywistych zastosowań, takich jak czytanie ze zrozumieniem długich dokumentów, śledzenie postaci w rozszerzonej fikcji czy monitorowanie zmian w skomplikowanych instrukcjach. Obecne metryki i benchmarki często nie oceniają dobrze tej konkretnej zdolności, chociaż jest ona krytyczna dla praktycznego wykorzystania modeli. StateBench pozwala naukowcom dokładniej diagnozować słabości istniejących modeli i śledzić postęp w tej dziedzinie.
Wypuszczenie benchmarku otwartym dostęp do benchmarku oznacza, że badacze z całego świata mogą testować swoje modele i techniki fine-tuningu w standaryzowany sposób. To wspomaga transparentność i reproducibility badań nad modelami języka, a także motywuje zespoły do rozwiązywania trudności związanych ze śledzeniem długoterminowego kontekstu - jednego z głównych wyzwań dla współczesnych LLM-ów.