Naukowcy z Fidelity wykazali, że architektura dostarczania strukturalnych danych do modelu AI ma znacznie większy wpływ na dokładność agenta niż dotychczas sądzono. W badaniu agenta podróżniczego porównali dwie architekury: SYNTHESIS, która przekazuje pełne zestawy rekordów do kontekstu modelu i generuje odpowiedzi bezpośrednio, oraz BYPASS - aktualnie wdrożony system, który przechowuje dane w stanie sesji i dostarczał je przez typizowany kanał boczny.
Wyniki były zaskakujące - BYPASS uzyskał 92,3 procent poprawnych odpowiedzi na 339 ocenionych tur dialogowych, podczas gdy SYNTHESIS zaledwie 45,7 procent, czyli różnica 46,6 punktu procentowego. Najbardziej uderzająca obserwacja dotyczy skalowania: gdy zwiększano rozmiar tabeli, wydajność SYNTHESIS gwałtownie spadała. Przy 10 wierszach lub mniej system uzyskiwał prawie perfekcyjne wyniki, ale poza około 74 wierszami jego dokładność spadała poniżej 8 procent.
Badanie pokazało, że próg załamania wydajności zależy od możliwości modelu - GPT-4o-mini zawalił się poniżej 10 wierszy, a Gemini 2.5 Pro wytrzymał do około 198 wierszy. Koszt finansowy był również dramatyczny - przy ponad 100 wierszach każda poprawna odpowiedź z SYNTHESIS kosztowała około 200 razy więcej niż BYPASS. Odkrycie wskazuje, że praktykowanie kanału bocznego do dostarczania danych, które zespoły przyjęły z powodów rendrowania interfejsu, okazało się nieświadomie również kluczowym rozwiązaniem dla poprawności.