Zespół badaczy z zakresu NLP opracował nowe narzędzie zwane Schema Coherence Inventory do rzetelnego pomiaru, czy przypisane modelom językowym przekonania rzeczywiście wpływają na ich zachowanie czy tylko tworzą złudzenie zmiany. Problem jest praktycznie ważny, bo personalizowane modele coraz częściej działają jako symulowani pacjenci lub agenci o określonych cechach emocjonalnych, a dotąd nie było sprawdzonego sposobu weryfikacji, czy są wiarygodne.
SCI to test zawierający 96 wymuszonych pytań wielokrotnego wyboru, zbudowanych na podstawie osiem poziomów kognitywnego modelu Becka z zakresu psychologii klinicznej. Każde pytanie oferuje sześć odpowiedzi wskazujących na trzy negatywne schematy przekonań i ich pozytywne odpowiedniki. Klucz to długość znormalizowana log-likelihood - zamiast generować nowy tekst czy parsować odpowiedzi, system ocenia, jak model przypisuje probabilistyczną wagę do wcześniej zdefiniowanych opcji. To zapobiega artefaktom związanym z samymi zmianami nastroju, które mogą przesunąć model na domyślne przekonania bez rzeczywistej adopcji schematu.
Walidacja przebiegała na pięciu architekturach modeli (od 1,7B do 14B parametrów) i obejmowała 107 warunków testowych. Adaptery przekonań (fine-tuning'owe modyfikacje dodające konkretne schematy) osiągnęły konsekwencję specyficzną dla celu - każdy schema był wybierany najczęściej w warunkach do niego zbudowanych, a profil SCI danego warunku prawidłowo identyfikował autorskie generacje modelu w 24 na 30 przypadków. Dziewięcioro raterów przeszkolonych klinicznie odzyskało zamierzone przekonanie w 79,5% przypadków wobec 16,7% szansy przypadkowej. Forma skrócona 48 pozycji korelowała na poziomie r = 0,73 z drugą połową testu.