Naukowcy z arXiv opublikowali AutoMem, system do automatycznego wyszukiwania architektur pamięci dla agentów LLM poprzez kombinowanie różnych modulów bez konieczności ręcznego projektowania. Problem polega na tym, że pamięć długoterminowa agentów LLM wymaga decyzji na czterech poziomach: co zakodować, jak przechowywać, jak wyszukiwać i jak zarządzać - a każde zadanie preferuje inną kombinację tych komponentów.
Automem operuje w dyskretnej przestrzeni wyszukiwania złożonej z 5 enkoderów, 5 sposobów przechowywania danych, 6 metod wyszukiwania i 4 menedżerów pamięci, co daje tysiące potencjalnych kombinacji. System wykorzystuje dwa główne mechanizmy: wyszukiwanie architektur kierowane doświadczeniem, które zaproponuje kandydujące architektury na podstawie historycznych trajektorii wyszukiwania i zgromadzonych refleksji, oraz diagnostykę modulów kierowaną błędami, która lokalizuje problemy związane z pamięcią do konkretnych modulów i zamienia je w ukierunkowaną informację zwrotną w formie tekstu.
Wyniki eksperymentów na benchmarkach GAIA, WebWalkerQA i xBench-DeepSearch przeprowadzonych na dwóch różnych modelach LLM pokazały, że AutoMem konsekwentnie odkrywa architektury pamięci dostosowane do zadań, które przewyższają najsilniejsze ręcznie projektowane linie bazowe. Średnia poprawa dokładności wyniosła 2,8 punktu procentowego w sześciu ustawieniach benchmark-model. System dodatkowo wykazał korzystny kompromis między dokładnością a efektywnością, zmniejszając koszty tokenów. To znaczące odkrycie sugeruje, że zamiast poszukiwać uniwersalnego rozwiązania dla pamięci agentów, należy optymalizować architekturę dla konkretnego zadania i modelu.