ByteDance trenuje model AI z potencjalnie do 10 bilionów parametrów - gigantyczną architekturę, która byłaby trzy razy większa od największego dotychczas udostępnionego chińskiego modelu. Według trzech osób zaznajomionych z projektem chiński gigant techniczny jest w wczesnym stadium pre-treningu, który typowo trwa od trzech do sześciu miesięcy, zanim model zostanie dostrojony i potencjalnie udostępniony użytkownikom. Dokładny rozmiar będzie ostatecznie określony na późniejszym etapie prac.
To przedsięwzięcie odzwierciedla szerszą tendencję, w której chińskie firmy technologiczne systematycznie zmniejszają technologiczny dystans wobec czołowych amerykańskich laboratoriów AI, takich jak Anthropic czy OpenAI. Dostęp ByteDance do ogromnych zasobów obliczeniowych i talentów inżynierskich pozwala na opracowanie modelów porównywanych z najnowocześniejszymi systemami na świecie. Skalowanie parametrów do tej wielkości wymaga jednak nie tylko mocy obliczeniowej, ale także rozwiązania problemów związanych z treningiem, optymalizacją i efektywnością.
Jeśli ByteDance uda się pomyślnie wytrenować i wdrożyć ten model, mogłoby to znacząco wpłynąć na krajobraz konkurencji AI na globalnym rynku. Chińskie podejście do rozwoju sztucznej inteligencji opiera się na masywnych inwestycjach w infrastrukturę i talenty, co stanowi coraz poważniejsze wyzwanie dla dominacji западnych firm w segmencie najbardziej zaawansowanych modeli.