Akashic to nowy system pamięci dla usług wnioskowania LLM, który rozwiązuje problem rosnących kosztów obsługi długich kontekstów w wielokrotnych interakcjach. Zamiast przetwarzać pełną historię przy każdym zapytaniu, system organizuje informacje w ograniczone fragmenty i buduje semantyczne połączenia między nimi, zachowując ważne dowody bez konieczności przepisywania całej historii.
Jądrem rozwiązania jest technika MemAttention, która inteligentnie modeluje zależności między fragmentami kontekstu. Dodatkowo Akashic stosuje wspólny projekt sprzętu i oprogramowania do rozmieszczenia fragmentów, które mogą być pobierane razem, co zmniejsza fragmentację wejścia-wyjścia i zmniejsza obciążenie systemu pamięci.
W badaniach na czterech reprezentatywnych obciążeniach i trzech rozmiarach modeli Akashic wykazał znaczące poprawy: dokładność zadań wzrosła do 10,2 punktu, przepustowość wzrosła o do 21 procent, a maksymalny wskaźnik obsługi zapytań zwiększył się aż 1,88 razy w porównaniu do poprzednich systemów pamięci. To oznacza, że serwery mogą obsługiwać więcej zapytań ze zmniejszonym zużyciem zasobów, co jest ważne dla praktycznego wdrożenia agentów LLM pracujących nad długimi, złożonymi zadaniami.