Badacze przeprowadzili randomizowany eksperyment na platformie Schoolhouse.world z udziałem ponad tysiąca wolontaryjnych tutorów, którzy uczyli matematykę przygotowującą do egzaminu SAT. Tutorzy zostali losowo podzieleni na grupy - jedna bez żadnych opinii, druga otrzymująca automatyczne opinie na temat własnego stylu prowadzenia zajęć, oraz grupy dodatkowe, gdzie uczniowie także dostawali informacje zwrotne. Analiza prawie siedmiu tysięcy nagranych sesji wykazała, że tutorzy, którzy otrzymali opinie, rzeczywiście częściej zadawali pytania otwarte i bardziej wykorzystywali wkład uczniów - wskaźniki wzrosły o 8-15 procent. Poprawy zaobserwowano konsekwentnie w obu bootcampach, co sugeruje solidność efektu.
Pomimo tych pozytywnych zmian, kluczowy problem pozostał nierozwiązany. Tutorzy mówili średnio 91,5 procent czasu w grupie kontrolnej i wskaźnik ten praktycznie się nie zmienił w żadnej z grup eksperymentalnych. Uczniowie nadal mieli zdecydowanie mniej czasu na wypowiadanie się, niezależnie od tego, czy tutorzy stosowali rekomendowane techniki. Opinie skierowane bezpośrednio do uczniów nie przyniosły dodatkowych korzyści.
Wywiady z tutorami ujawniły, że rzeczywiście wdrażali sugerowane zmiany w swoim podejściu, ale napotykali naturalną barierę - uczniowie po prostu nie zawsze byli skłonni odpowiadać na pytania. Rozmowy z uczniami pokazały inną perspektywę - opinie dotyczyły średnich grupowych, a nie indywidualnych postępów, a wielu uczniów wolało słuchać zamiast aktywnie uczestniczyć. Badanie ujawnia fundamentalny napięcie w edukacji: nawet inteligentne narzędzia do automatycznej oceny mogą ulepszać taktykę nauczania, ale nie mogą całkowicie zmienić dynamiki, gdy uczestnicze mają różne preferencje i motywacje.