Zespół badaczy opublikował na arXiv benchmark RENDER, który ujawnia zaniedbywany aspekt ewaluacji systemów pamięci w dużych modelach językowych - sposób, w jaki historia rozmów jest presentowana modelowi. Dotychczasowe testy traktowały format danych jako szczegół implementacyjny, ale okazuje się, że różnica między estruturyzowanymi rekordami a surowymi transkryptami może wynieść nawet 48.8 punktów na wynikach modelu.
Benchmark RENDER wprowadza pięć poziomów strukturyzacji danych i testuje je na dziewięciu modelach. Badacze porównali cztery główne formaty: wpisy w stylu ChatGPT, podsumowania LangChain, rekordy typizowane MemGPT i surowe dialogi. Na 500 pytaniach z zestawu LongMemEval wykazali, że dane upakowane w określony sposób pozwalają modelom udzielać poprawnych odpowiedzi znacznie częściej. Szczególnie zaskakujące były przypadki, gdy model osiągał 0 procent na formalnych ledgerach, ale 45.4-53.4 procent na naturalnym tekście tego samego contentu.
Znaczenie tego odkrycia jest spore dla całej branży ewaluacji AI. Jeśli format danych wpływa na wyniki o tyle samo, co jakość modelu, to porównywanie wydajności między badaniami, które używają różnych formatów, staje się problematyczne. Efekt zaobserwowano również w testach z szumem retrieval'u i przeniósł się na zestaw HotpotQA, co sugeruje, że to nie jest artefakt konkretnej ewaluacji. Autorzy apelują o standaryzację raportowania formatu reader-facing artifact w testach pamięci i RAG.