Steve Yegge, znany entuzjasta tokenmaxxingu i agentów AI, zamknął projekt Gas Town - przyznając w ten sposób, że despite wydawania tysiące dolarów miesięcznie na subskrypcje narzędzi do automatyzacji kodowania, faktycznie zbudował z nich zaledwie jeden projekt. To trzeźwiące recognize dla branży obsesyjnie skupionej na maksymalizacji wydajności tokenów bez weryfikacji rzeczywistych rezultatów.
Paralelnie Databricks publikuje alarmujące dane o swoim modelu Astra - pomimo licznych benchmarków wykazujących jego przewagę kosztową w przeliczeniu na zadanie, rzeczywiste wydatki firm rosną o 60 procent po migracji. Astra miał być tańszy niż Sol dzięki lepszej efektywności tokenów, jednak w praktyce inżynierowie AI obserwują przeciwny efekt w całkowitych kosztach operacyjnych.
Te dwie wiadomości przykładem systemu zagrażającego transparencji w AI: benchmarki wskazują na kierunek, ale rzeczywiste koszty mogą się drastycznie różnić w zależności od użytkownika i przypadku. Branża musi pogodzić się z tym, że metryki laboratoryjne nie zawsze tłumaczą się na gospodarczą rzeczywistość.