Badacze z arXiv przeanalizowali mechanizmy in-context learning - zdolności modeli do dostosowania się na podstawie instrukcji i demonstracji zawartych w prompcie. Kluczowe pytanie brzmiało: czy modele faktycznie rozumieją zadanie, czy po prostu kopiują najbliższy przykład z prompta?
Na próbie 17 modeli badania ujawniły zróżnicowany obraz. Około trzecia część modeli preferuje bezpośrednie kopiowanie demonstracji, kilka jest niezdecydowanych, a reszta wybiera odpowiedź zgodną z regułą zadania - co wiąże się z wyższą dokładnością i kontrolą przez żądaną wartość, a nie przez konfliktujący przykład. Analiza punktów kontrolnych wykazała, że modele zaczynają priorytetyzować tokeny relevantne dla zadania nad konfliktującymi przykładami dużo wcześniej, zanim ich dokładność robi znaczący skok powyżej poziomu przypadkowości.
Konkretne eksperymenty treningowe pokazały, że syntetyczne dokumenty, które najpierw definiują nazwy, a potem je odpytują, zmuszają modele do bardziej komponowanego (nie kopiującego) podejścia. Z kolei fine-tuning na ćwiczeniach definicyjnych opartych na przeformułowanych rzeczywistych dokumentach poprawia dokładność, gdy prompty zmienia przypisanie znaczeń etykietom. Rezultaty sugerują, że in-context learning nie jest przyswajaną jako jedna, jednolita zdolność, ale raczej rozwija się poprzez odrębne trajektorie - kontrola prompta, preferencje odpowiedzi, konstruowanie bez kandydatów i transfer mogą dojrzewać niezależnie.