Zespół badaczy opracował EduBehaviors, framework który zmienia podejście do automatycznej analizy dialogów edukacyjnych poprzez wymóg wyjaśnialności każdej decyzji klasyfikacyjnej. Zamiast polegać na nieprzejrzystych wyborach LLM-ów, system najpierw identyfikuje i mierzy powtarzające się, obserwowalne zachowania nauczycieli, które są istotne dla interesujących naukowców konstruktów pedagogicznych. Te mierzalne zachowania stanowią podstawę do nauki klasyfikatora, który może wyjaśnić, dlaczego konkretny dialog otrzymał daną etykietę.
Badacze testowali EduBehaviors na słynnym dataset TalkMoves, pracując nad przewidywaniem etykiet Teacher TalkMoves. Ich najlepszy model osiągnął macro-F1 0.673 i Cohen's kappa 0.688, co jest konkurencyjnym wynikiem w stosunku do bezpośredniego promptingu LLM-ów. Ważnym aspektem jest tu przejrzystość - naukowcy mogą dokładnie zobaczyć, które obserwowalne zachowania wpłynęły na daną klasyfikację, a nie muszą ufać "czarnej skrzynce" modelu.
Framework ma szersze znaczenie dla edukacji i badań nad AI. Wymóg auditability i mechanistycznego wyjaśnienia decyzji jest kluczowy zwłaszcza w kontekście edukacyjnym, gdzie każda rekomendacja dla nauczyciela lub ucznia powinna być uzasadniona. Zespół udostępnił również EduBehaviors Toolkit - dwa narzędzia ułatwiające innym badaczom wdrażanie tego podejścia na swoich danych, co potencjalnie przyspieszy rozwój bardziej przejrzystych systemów edukacyjnych opartych na AI.