Naukowcy odkryli, że in-context learning w modelach jezyka nie polega na jednym miejscu w sieci, gdzie sieć "uczy się" na przykładach, ale że ten proces rozprasza się po całym modelu. Dotychczasowe badania zakładały, że istnieje główny punkt, gdzie model przetwarzanie informacji z kontekstu - coś w rodzaju przełącznika odpowiadającego za uczenie się na bieżąco. Tymczasem nowe odkrycia sugerują, że jest to zdecydowanie bardziej zawiłe: rozproszone szablony wyjścia w wielu warstwach modelu wspólnie napędzają zdolność dużych modeli do adaptacji do nowych zadań bez zmian wag sieci.
To ma ogromne znaczenie dla zrozumienia, jak działają modele takie jak GPT czy Claude, ponieważ in-context learning to coś, co fundamentalnie odróżnia je od tradycyjnych systemów AI. Jeśli mechanizm jest rozproszczony zamiast scentralizowany, oznacza to, że nie możemy zoptymalizować czy naprawić tego procesu poprzez interwencję w jednym miejscu. Badanie podważa wcześniejsze teoretyczne modele funkcjonowania tych systemów i otwiera pytania o to, jak skutecznie możemy poprawiać wydajność modeli lub zapobiegać błędom.
Zrozumienie rzeczywistej natury in-context learning ma praktyczne konsekwencje dla rozwoju następnych generacji modeli języka. Jeśli proces jest rozproszczony, inżynierowie muszą przede wszystkim zmienić podejście do debugowania i optymalizacji - nie wystarczy już szukać jednego krytycznego węzła. Ta giętkość sieci, choć bardziej złożona, może również tłumaczyć, dlaczego obecne duże modele są tak odporne na różnego rodzaju zaburzenia i dlaczego potrafią generalizować wiedzę na nowe domeny. Dla branży AI to przypomnienie, że wciąż wiele nie wiemy o tym, jak faktycznie pracują nasze najpotężniejsze narzędzia.