Simon Willison opublikował wersję 0.31.1 narzędzia wiersza poleceń llm, która naprawia problem w obsłudze tool calls w OpenAI Chat Completion endpoints. Błąd polegał na tym, że gdy model chciał wywołać narzędzie bez żadnych argumentów, niektórzy dostawcy zwracali błąd JSON zamiast prawidłowo przetworzyć żądanie.
Problems z pustymi argumentami w tool calls mogą wydawać się niszowe, ale są ważne dla praktycznego wykorzystania modeli. Wiele rzeczywistych zastosowań wymaga wywoływania funkcji, które nie potrzebują parametrów - na przykład pobranie bieżącego czasu, odświeżenie cache'u czy wykonanie prostych akcji. Różne implementacje OpenAI API mogą obsługiwać takie przypadki graniczne w inny sposób, co może prowadzić do nieoczekiwanych błędów.
Bugą odkryto podczas rozwoju llm-meta-ai, wtyczki integrującej modele Mety z narzędziem llm. Ta poprawka powinna zwiększyć stabilność działania tool calls w ekosystemie llm i zmniejszyć liczbę niespodziewanych błędów JSON przy pracy z różnymi dostawcami API.