Together AI wprowadził opcję preemptible compute do swoich GPU Clusters, oferując tę samą pojemność GPU za 50 procent standardowej ceny na żądanie. Instancje mogą zostać przerwane, ale użytkownicy otrzymują pięciominutowe okno drainowania na zapisanie postępu i wyczyszczenie sesji.
To rozwiązanie odpowiada na największy ból głowy osób trenujących modele - astronomiczne koszty GPU. Preemptible compute to sprawdzony wzór z chmury publicznej, gdzie instancje o niższym priorytecie mogą być wznowione, gdy mająca wyższą priorytet zostanie uruchomiona. Together AI dodaje tutaj ograniczenie czasowe, które daje użytkownikom bezpieczny koniec wydzierżawienia.
Dla ekosystemu to ważny krok. Eliminuje bariery do eksperymentów z duża modelami dla mniejszych zespołów. Tradycyjnie startupowe mogły albo czekać na dostęp do darmowych zasobów akademickich, albo płacić ceny korporacyjne. Teraz mogą szkolić, Fine-tune'ować i wdrażać znacznie taniej, zachowując elastyczność do podwyższenia priorytu, gdy potrzebują gwarancji dostępności.