Nvidia opublikowała Switchyard, proxy napisane w Rust, które rozwiązuje problem agentów kodowych niekompatybilnych z różnymi API modeli LLM. Aplikacje takie jak Claude Code, które używają Anthropic Messages API, lub narzędzia oparte na OpenAI, mogą teraz pracować z modelami hostowanymi na vLLM, NVIDIA NIM czy Ollama bez konieczności przepisywania kodu - wystarczy skonfigurować Switchyard pośrodku.
Narzędzie działa jako warstwa translacji: dekoduje przychodzące żądania do neutralnego formatu Rust, wybiera backend za pomocą algorytmu routowania, ponownie koduje żądanie w formacie docelowego API, wywołuje go i tłumaczy odpowiedź (wraz z eventami streamingu) z powrotem na format, którego oczekuje klient. Switchyard obsługuje trzy formaty wejściowe: OpenAI Chat Completions, OpenAI Responses oraz Anthropic Messages, a każdy może być routowany do dowolnego backendu niezależnie od formatu, który ten backend obsługuje.
Switchyard jest dostępny na crates.io i PyPI pod licencją Apache 2.0, z dokumentacją na docs.nvidia.com/nemo/switchyard. Jednak Nvidia wyraźnie zaznacza, że projekt jest w fazie pre-alpha i eksperymentalnej - nie rekomenduje go do użytku produkcyjnego. Spodziewane są znaczące zmiany w API i algorytmach routowania przed wydaniem wersji 1.0.