Startup Together AI udostępnił właśnie OSCAR - open-source'owe narzędzie, które powinno znacznie ułatwić pracę z dużymi modelami językowymi w warunkach ograniczonej pamięci RAM. System wykorzystuje 2-bitową kwantyzację cache'u klucz-wartość, czyli kompresuje dane przechowywane podczas przetwarzania tekstu do zaledwie dwóch bitów. Kluczowa innowacja polega na tym, że OSCAR nie kompresuje wszystkich danych w równym stopniu - zamiast tego stara się zachować najważniejsze informacje poprzez attention-aware podejście, które rozpoznaje, które tokeny rzeczywiście wpływają na ostateczny wynik.
Praktyczne znaczenie tego rozwiązania jest spore. Modele takie jak GPT czy Claude to urządzenia żądne pamięci, szczególnie gdy trzeba przetwarzać długie teksty, dokumenty czy rozmowy wieloturnowe. OSCAR umożliwia pracę z sekwencjami tekstowymi o wiele dłuższymi niż zwykle, przy jednoczesnym dramatycznym zmniejszeniu zapotrzebowania na zasoby sprzętowe. To otwiera drzwi dla uruchomiania zaawansowanych LLM-ów na serwerach z mniejszą mocą obliczeniową, edgeowych urządzeniach czy nawet lokalnie na bardziej dostępnym sprzęcie - bez konieczności wynajmowania drogich GPU-ów w chmurze.
Dla ecosystem'u open source'owego jest to znaczące wydarzenie, bo darmowe narzędzie Together AI potencjalnie dostępne dla każdego może przyczynić się do demokratyzacji pracy z zaawansowanymi modelami. Badacze, startupy i małe zespoły zyskują dostęp do technologi, która dotąd była praktycznie niedostępna dla nich ze względów finansowych. Kolejnym wyzwaniem dla branży będzie teraz integracja takich rozwiązań z popularnymi frameworkami i upewnienie się, że rzeczywiście działają stabilnie w szerokiej gamie scenariuszy użycia.