Zyphra opracowała nową strategię Tensor and Sequence Parallelism (TSP) optymalizującą trening i wnioskowanie modeli AI z uwzględnieniem specyfiki sprzętu. Metoda osiąga 2,6-krotnie wyższą przepustowość w porównaniu do tradycyjnych podejść łączących tensor parallelism i sequence parallelism. To rozwiązanie może znacząco zmniejszyć czas i koszty treningu dużych modeli językowych, stanowiąc krok naprzód w efektywności obliczeniowej AI.
Badania
MarkTechPost