Octopus to nowy framework dla wieloagentowych systemów LLM, który rewolucjonizuje sposób zarządzania pamięcią i koordynacją między agentami poprzez udostępnianie jednego modelu zamiast duplikowania całej pamięci KV dla każdej gałęzi. Zamiast tradycyjnego podejścia, gdzie każdy podagent ma izolowany kontekst i duplikuje cache prefiksów, Octopus używa jednego backbone'a i koordynuje wszystkie wątki poprzez skierowany graf acykliczny (DAG) stanów KV GPU-resident.
Framework wprowadza trzy kluczowe mechanizmy. Po pierwsze, zero-copy radix forking tworzy nowe gałęzie jako widoki O(1) na wspólne fizyczne strony KV, eliminując drogi overhead duplikacji. Po drugie, attention-only KV mounting montuje terminal KV bloki z wątków siostrzanych bezpośrednio w warstwy full-attention, omijając stany liniowo-rekurencyjne. To rozwiązanie zmniejsza błędy agentów off-task o 21 razy - z 57,9 procent do 2,7 procent - przy zachowaniu 92,2 procent wzajemnych informacji z pełnego tekstu bez dodatkowej alokacji pamięci KV. Po trzecie, packed DAG-GRPO trainer pakuje wszystkie gałęzie epizodu w jedno przejście block-sparse attention i przypisuje zasiłki poprzez leave-one-branch-out marginal rewards, umożliwiając obliczenie odpowiedzialności counterfactual.
System trenowany end-to-end z użyciem GRPO na modelu Qwen3.5-4B nad rzadkim corpus BM25 osiąga solidne wyniki, oferując znacznie bardziej efektywne podejście do równoległego eksplorowania niż istniejące multi-agent frameworki. Rozwiązanie jest szczególnie ważne dla skalowania LLM-based agentów, ponieważ drastycznie zmniejsza zapotrzebowanie na pamięć GPU i przyspieszenie komunikacji między agentami poprzez eliminację re-filling tekstu i zachowanie zależności między gałęziami podczas trenowania.