Wydana została wersja 0.5 wtyczki llm-echo, debuggingowego narzędzia dla frameworka LLM, które zamiast korzystać z rzeczywistego modelu, po prostu powtarza otrzymane prompty. Simon Willison, twórca projektu, opublikował to ulepszenie przygotowując się do nowego wydania głównego frameworka, a testowanie pull requestów skłoniło go do revisji tej wtyczki debuggingowej.
Główną zmianą w wersji 0.5 jest znacznie dokładniejsze liczenie zużycia tokenów. Nowe wydanie bierze teraz pod uwagę wywołania tool callów, system prompty oraz tokeny rozumowania - elementy, które wcześniej były pomijane w symulacji. Praktycznie oznacza to, że liczniki tokenów w llm-echo lepiej odzwierciedlają rzeczywiste zużycie zasoby, które byłoby wymagane w produkcji.
Narzędzie jest szczególnie przydatne dla deweloperów pracujących z modelami AI, którzy potrzebują testować swoje implementacje bez ponoszenia kosztów rzeczywistych requestów do API. Dokładniejsza symulacja zużycia tokenów pozwala lepiej prognozować i planować koszty przed wdrożeniem aplikacji. Wtyczkę można uruchomić poleceniem uvx --with llm-echo llm -m echo, co sprawia, że jej testowanie jest łatwe i dostępne dla każdego korzystającego z frameworka LLM.