Naukowcy z arXiv opublikowali pracę pokazującą jak odtworzać parametry uszkodzeń w modelach językowych na podstawie profili błędów w nazewaniu obrazów. Zamiast tradycyjnych metod interpretowności, które opisują stan wewnętrzny modelu, zespół zastosował podejście przyczynowe - systematycznie uszkadzając konkretne warstwy modelu LLaVA-Vicuna 13B i mierząc wynikające błędy.
Badanie wykorzystało klasyfikację kliniczną błędów zaproponowaną do diagnozy afazji u pacjentów po udarach. Naukowcy przetestowali 4840 różnych konfiguracji lesji, zmieniając indeks warstwy, procent modyfikacji i szumówcję, a następnie trenowali sieć neuronową by przewidywać te parametry na podstawie obserwowanych profili błędów. Wyniki pokazały że model potrafi odtworzyć procent modyfikacji i szumowość z wysoką dokładnością, chociaż indeks warstwy był odtwarzalny jedynie w ograniczonym sąsiedztwie.
Najciekawsza obserwacja dotyczy asymetrii między trudnością odtworzenia dokładnej warstwy a wysoką wierności w walidacji kontrafaktycznej - gdy badacze perturbowali świeży model przy użyciu odtworzonych parametrów, odtworzyli cel w 81,4 procent przypadków. To sugeruje że transformery wykazują znaczną redundancję funkcjonalną, gdzie różne warstwy mogą pełnić podobne role. Badanie stanowi most między neuronauką a interpretowalnością sztucznej inteligencji, pokazując że patologiczne profile błędów mogą ujawnić strukturę wewnętrznego przetwarzania informacji w modelach.