Naukowcy wprowadzili PACT, technikę pozwalającą większemu modelowi językowemu przekazywać swoją wiedzę mniejszemu modelowi w postaci reprezentacji promptu, co ma potencjał do balansowania wydajności z kosztami obliczeniowymi. To rodzaj komunikacji ukrytej między modelami - większy model analizuje prompt i przygotowuje dla niego reprezentacje, które mniejszy model wykorzystuje do generowania odpowiedzi, osiągając lepsze wyniki niż działałby samodzielnie.
Opracowany framework PLatour łączy zamrożone modele przez lekkie mostki liniowe inicjalizowane zerami i trenowane z użyciem nagród zadań. System surpasuje dostępne baselines open-source na zadaniach generacji i osiąga lepsze wyniki niż poprzednia metoda Mostik na benchmarkach matematycznych i programowania, używając znacznie mniejszego modelu nadawcy. To potencjalnie otwiera drogę do bardziej efektywnego wdrażania dużych modeli w praktyce.
Ale diabeł tkwi w szczegółach. Kontrolowane eksperymenty ujawniły, że niektóre ulepszenia mogą być osiągane bez faktycznego transferu informacji - nawet jeśli model nadawca wysyła losowe sygnały, a model odbiorcy uczy się sam siebie. Mostki treningowe działają jak mechanizmy adaptacji parametrycznej efektywnej bez konieczności korzystania z przydatnych informacji od nadawcy. To zmieniło perspektywę badaczy, którzy zaproponowali metodę PACT-Check do mierzenia, jak wiele z zysków pochodzi z rzeczywistej komunikacji między modelami. Zespół udostępnił kod na GitHubie, co powinno przyspieszyć dalsze badania nad technikami cross-model transfer.