Jak warianty promptów wpływają na zużycie energii w modelach LLM na urządzeniach?

Naukowcy z Georgia State University przeprowadzili kompleksowe badanie empiryczne pokazujące, że sposób, w jaki formulujemy pytania (prompty) do modeli LLM na urządzeniach mobilnych, ma znaczący wpływ na ich zużycie energii. Badanie analizowało dwie kluczowe cechy promptów - cognitive load (złożoność poznawcza) i phrasing pattern (wzorzec formułowania) - mierząc ich wpływ na energochłonność wnioskowania na różnych urządzeniach.

Wyniki pokazały, że złożoność cognitive load promptu wpływa przede wszystkim na koszt energetyczny per pojedynczy token generowany przez model. Z kolei sposób sformułowania promptu (phrasing pattern) oddziałuje na zużycie energii głównie poprzez zmianę całkowitej liczby tokenów, jakie model musi przetworzyć i wygenerować. Badacze zbadali to zagadnienie na wielu modelach i urządzeniach, stosując phase-level profiling, który oddziela energię fazy prefill (przetwarzanie całego kontekstu) od fazy decode (generowanie odpowiedzi token po tokenie).

To badanie jest ważne, ponieważ energooszczędność staje się kluczowym ograniczeniem przy wdrażaniu LLM-ów na urządzeniach mobilnych z baterią. Odkrycie, że prompt design ma mierzalny wpływ na zużycie energii, otwiera możliwość optymalizacji poprzez lepszą formułowanie pytań. Naukowcy zaproponowali, że projektowanie promptów powinno być dostosowane do konkretnego modelu, aby osiągnąć optymalny balans między jakością odpowiedzi a zużyciem energii - to znaczy, że ten sam prompt może być bardziej lub mniej efektywny energetycznie w zależności od wybranego modelu.