Badacze z arXiv opublikowali framework agentowy rozwiązujący problem niestabilności przy generowaniu web scraperów przez duże modele językowe. Zamiast polegać na wolnoformatowym kodzie, system przekierowuje wyjście LLM w postać typizowanych konfiguracji JSON, co drastycznie zmniejsza błędy związane z zależnościami, złamanymi selektorami CSS i niezgodnościami schematów danych.
Framework bazuje na taksonomii sześciu rodzajów kolektorów danych, которые obsługują najpopularniejsze scenariusze zbierania. Jego architektura obejmuje ograniczenia szablonów, funkcje narzędziowe, statyczną egzekucję przez Apache Airflow oraz automatyczną kontrolę jakości opartą na regułach. Gdy agentowi nie uda się prawidłowo zinterpretować wymogów, system zwraca ustrukturyzowane informacje zwrotne zamiast zwyczajnych komunikatów o błędach, co poprawia szybkość korekty.
Eksperymentalne wyniki na 138 zadaniach pokazują, że podход efektywnie typizuje wymagania opisane naturalnym językiem. Decydujące znaczenie ma to, że framework realizuje 80 niezależnie zweryfikowanych zadań bez uruchamiania tokenów LLM w fazie wykonania - cała egzekucja jest deterministyczna i powtarzalna. To stanowi przełom dla zaplanowanego, periodycznego zbierania danych, gdzie koszt operacyjny i niezawodność są krytyczne. Zamiast szukać idealnej jakości za pierwszym razem, system handluje umiarkowaniem w jednorazowej jakości za gwarancję powtarzalności i weryfikowalności.