Few-shot prompting - technika polegająca na podaniu modelom kilku przykładów przed zadaniem - czasem zmniejsza ich dokładność zamiast ją poprawić. Naukowcy z arXiv przeanalizowali to zjawisko na 12 otwartych modelach na dwóch zadaniach w języku ukraińskim: klasyfikacji wiadomości i predykcji wyników spraw prawnych. Okazało się, że efekt jest silnie zależny od rodzaju problemu - te same modele na wiadomościach zyskały średnio 24 punkty procentowe, ale na tekstach prawnych tylko 3,4 punkty, a dwa systemy pogorszyły się całkowicie.
Aby zrozumieć mechanizm tego zjawiska, zespół zbadał, jak zmienia się wewnętrzne reprezentacje modeli między trybem zero-shot (bez przykładów) a few-shot. Dotychczasowe badania mierzyły przesunięcie reprezentacji, ale nie uwzględniały faktu, że few-shot prompty są znacznie dłuższe. Rozwiązanie było proste: naukowcy zastępowali demonstracje losowym tekstem o tej samej długości, co pozwoliło im zmierzyć, jaki przyrost reprezentacji pochodzi wyłącznie z samej długości prompta. Nowa metryka, nazwana content delta, mierzy zmianę reprezentacji spowodowaną zawartością demonstracji, a nie samą długością.
Wyniku były zaskakujące. Surowe przesunięcie reprezentacji prawie wcale nie przewidywało, czy few-shot poprawi czy pogorszy wynik (korelacja r=0,20), natomiast content delta wykazywała silną korelację (rho=+0,65, p=0,043). Wbrew intuicji modele, które bardziej zmieniały swoje reprezentacje pod wpływem zawartości demonstracji, osiągały lepsze rezultaty. Autorzy potwierdzili te ustalenia eksperymentem kauzalnym na Llamie 3.3 70B, maskując demonstracje i odzyskując dokładność powyżej poziomu zero-shot.