Francesa startup Kog podważa dominujące przekonanie, że GPU nie są dobrze przystosowane do agentic workflows. Według firmy to raczej wynik braku właściwej optymalizacji niż fundamentalnego problemu w architekturze sprzętu.
Dotychczasowy konsensus w branży głosił, że GPU, choć doskonałe do równoległego przetwarzania dużych obiętości danych podczas trenowania modeli, okazują się mniej efektywne w scenariuszach agentic workflows, które wymagają bardziej sekwencyjnego podejmowania decyzji i wykonywania akcji. Kog podejmuje jednak wyzwanie, proponując bardziej zaawansowane metody optymalizacji inferencji na GPU.
To ma znaczące implikacje dla ekonomiki AI. Jeśli startup ma rację, lepsze wykorzystanie istniejącego sprzętu mogłoby zmniejszyć presję na zakup nowych GPU, obniżyć koszty uruchamiania systemów AI i uczynić agentic workflows bardziej komercyjnie opłacalnymi. W kontekście nieustannego zapotrzebowania na moce obliczeniowe dla AI, każde znaczące zwiększenie efektywności GPU mogłoby przełożyć się na zyski zarówno dla infrastruktury, jak i dla aplikacji zbudowanych na tej technologii.