Obecne koszty operacyjne modeli dużych języków okazują się trudne do utrzymania na długoterminowej podstawie. Artykuł zwraca uwagę na paradoks, w którym firmy rozwijające LLM-y inwestują masywne budżety obliczeniowe, ale ich modele biznesowe nie generują wystarczających przychodów, aby pokryć faktyczne koszty infrastukturalnej i energetycznej.
Głównym wyzwaniem jest eksponencjalny wzrost wydatków na trening i uruchamianie coraz większych modeli. Wraz z popularyzacją usług AI takich jak ChatGPT czy Claude, koszty infrastruktury i energii rosną znacznie szybciej niż przychody generowane przez subskrypcje czy API. Duże centra danych wymagane do skalowania LLM-ów pochłaniają gigantyczne ilości prądu, co tworzy problem zarówno ekonomiczny, jak i ekologiczny.
Rozmowa wśród użytkowników Hacker News sugeruje, że branża będzie musiała dokonać fundamentalnych zmian. Opcje obejmują bardziej efektywne architektury modeli, specjalistyczne układy sprzętowe, wdrażanie modeli na urządzeniach użytkownika zamiast w chmurze, lub znaczącą zmianę strategii cenowej. Bez takich zmian, obecne modele biznesowe mogą okazać się nie do obrony finansowo.