Słabsze modele AI okazują się zdolne do obsługiwania zadań wymagających analizy bardzo długich tekstów, jeśli podzielą problem na mniejsze kawałki i zaplanują pracę krok po kroku. To odkrycie zmienia dotychczasowe przekonanie, że długi kontekst to monopol dużych, dobrze wytrenowanych modeli takich jak GPT-4 czy Claude. Badacze wykazali, że nawet mniejsze modele mogą poradzić sobie z tysiącami tokenów tekstu poprzez stosowanie strategii planowania i dekompozycji zadania, co ma ogromne znaczenie dla praktycznych zastosowań sztucznej inteligencji.
Dotychczas uważano, że możliwość przetwarzania długiego kontekstu - czyli pamiętanie i analiza dużych ilości informacji w jednym oknie kontekstowym - to cecha praktycznie niedostępna dla modeli mniejszych lub starszych. Prowadzący badanie naukowcy zaproponowali eleganckie rozwiązanie: zamiast wymagać od mniejszego modelu przeanalizowania wszystkiego naraz, system dzieli zadanie na etapy, najpierw planując, jak się do niego zabrać. To podejście, znane jako divide-and-conquer, pozwala modelom bardziej efektywnie alokować swoje zasoby obliczeniowe.
Rezultaty mają konkretne implikacje dla branży. Mniejsze modele AI są tańsze w utrzymaniu, szybsze i mogą działać na słabszych urządzeniach, dlatego jeśli potrafią radzić sobie z długim kontekstem, otwiera to nowe możliwości dla małych firm i zastosowań mobilnych. Pytanie teraz brzmi, czy inne laboratorium będą w stanie powtórzyć rezultaty i dostosować tę technikę do popularnych modeli takich jak Llama czy Mistral.