Naukowcy wprowadzili OrchSLM, framework badawczy do systematycznego zrozumienia, jak małe modele języków mogą być orkiestrowane w systemach agentowych. Główną motywacją jest problem wielkiej zależności dużych modeli od infrastruktury chmurowej - te rozwiązania cierpią na wysoką latencję, koszty obliczeniowe i ryzyko dla prywatności danych. OrchSLM oferuje alternatywę poprzez pozwalanie heterogenicznym SLM-om niezależnie generować kandydatów rozwiązań, a następnie router inteligentnie wybiera najlepsze spośród ich buforowanych odpowiedzi bez dodatkowych interakcji z modelami.
Ważnym spostrzeżeniem badaczy jest to, że wiele powtarzalnych i wyspecjalizowanych podzadań w pracach agentowych może być lepiej obsługiwanych przez skupione SLM-y niż przez monolityczne LLM-y. Jednak SLM-y mają ograniczone okna kontekstu i zdolności rozumowania, co uniemożliwia im długoterminową deliberację czy iteracyjną weryfikację. Dlatego non-interaktywny paradygmat orkiestracji okazuje się obiecujący - model router nie musi wchodzić w złożoną komunikację z wieloma SLM-ami, a jedynie koordynować ich wcześniej wygenerowane odpowiedzi.
Framework OrchSLM działa jako systematyczne narzędzie diagnostyczne, uwidaczniając ukryte parametry projektowe istniejących metod orkiestracji non-interaktywnej. Badanie pokazuje, jak zachowania orkiestracji wyłaniają się z różnych czynników: struktury samego zadania, skład i różnorodność dostępnej puli modeli, oraz jakość mechanizmów konsensusu multi-agentowego. Takie podejście może mieć istotny wpływ na przyszłość systemów AI działających w warunkach ograniczonego dostępu do zasobów obliczeniowych.