Adam Mosseri, szef Instagrama, twierdzi że firmy technologiczne będą musiały wkrótce wprowadzić budżety na tokeny AI dla poszczególnych inżynierów. Szef Meaty upatruje w tym naturalną ewolucję, analogiczną do zarządzania innymi wydatkami operacyjnymi takimi jak wynagrodzenia czy infrastruktura.
Rosnące koszty API i inference'u dla dużych modeli języka sprawiają, że konsumpcja tokenów staje się znaczącą pozycją wydatkową dla tech giantów. W miarę jak inżynierowie coraz bardziej opierają się na narzędziach AI do kodowania, testowania i debugowania, całkowite wydatki na tokeny mogą rosnąć wykładniczo. Wprowadzenie limitów na poziomie zespołu lub indywidualnym pozwoliłoby firmom lepiej kontrolować koszty i stymulować efektywne używanie zasobów AI.
Obserwacja Mossierego może sygnalizować, że zarządzanie kosztami AI będzie przesuwać się z peripherum strategii biznesowej na jej centralny element. Może to wzmocnić potrzebę bardziej efektywnych modeli AI wymagających mniej tokenów do tego samego zadania, lub prowadzić do wprowadzania na rynku tańszych alternatyw dla dominujących obecnie rozwiązań.