Metoda CARPRT wprowadza klasowo-świadome ważenie promptów w celu poprawy wydajności zero-shot classification w modelach vision-language. Problem leży w tym, że obecnie stosowane metody ensemble-owe używają wspólnego wektora wag dla wszystkich klas, co implikuje warunkową niezależność promptów od klas - założenie, które rzadko sprawdza się w praktyce. Prompt "an aerial view of" sprawdzi się doskonale dla klasy "airport", ale będzie całkowicie nieadekwatny dla "apple".
CARPRT rozwiązuje ten problem poprzez adaptacyjne dostosowanie wektora wag dla każdej klasy. Dla każdej pary klasa-prompt metoda oblicza klasa-specyficzną trafność poprzez uśrednienie wyników podobieństwa obraz-tekst w zbiorze obrazów, które dany prompt klasyfikuje do danej klasy. Te oszacowania są następnie normalizowane, aby uzyskać wagi specyficzne dla klasy. Cały proces przebiega w sposób training-free, bez potrzeby dostępu do danych treningowych.
Ewaluacja na standardowych benchmarkach image classification wykazała, że CARPRT konsekwentnie przewyższa istniejące metody niezależne od klasy. Wyniki potwierdzają kluczowe znaczenie modelowania zależności między promptami a etykietami klas dla poprawy wydajności zero-shot classification. Metoda oferuje praktyczną drogę do lepszego wykorzystania potencjału czarnych skrzynek VLM bez konieczności fine-tuningu czy dostępu do danych treningowych.