OpenRouter, platforma będąca warstw routingu dla modeli AI, wyrosła z pierwszej fali popularności open-weight modeli takich jak Llama, Alpaca i Mistral, aby stać się kluczową infrastrukturą obsługującą dziś ponad 10 milionów deweloperów. W rozmowie z podcastem Latent Space co-founder i CEO Alex Atallah wraz z Anjney Midha z AMP opisują, jak firma inicjalnie odbierana jako zwykły wrapper stała się centrum sieci dystrybucji modeli.
Jednym z kluczowych spostrzeżeń jest fundamentalna luka między tworzeniem modeli a ich dostępnością dla deweloperów. Laboratoria modelowe wydają miliardy dolarów na trenowanie checkpointów, ale walczą z wprowadzeniem ich w ręce programistów. OpenRouter rozwiązał ten problem, stając się marketplace'em konkurencyjnym dla inferencji. Platforma wykazała swoją wartość szczególnie po wejściu Mistrala na rynek, który udowodnił, że różnorodność modeli to nie tylko hipoteza. OpenRouter świadomie skoncentrował się na routingu, rezygnując z ekspansji w kierunku fine-tuningu czy memory, co pozwoliło mu stać się specjalistą w jednej dziedzinie.
Zainteresowanie rozmowy skupia się również na emerging threats dla ekonomii tokenów AI. Atallah i Midha analizują, jak oszustwa tokenowe mogą stać się definiującym problemem bezpieczeństwa dla branży, a przyszłe ataki mogą pochodzić nie tylko od ludzi, ale od autonomicznych agentów atakujących coraz cenniejsze przepływy tokenów. Historia OpenRouter obejmuje też eksperymenty z fuzją modeli - pierwsze podejście usunęli, aby przywrócić je wiele lat później z lepszym zrozumieniem problemu.