Box zaintegrowała model Nemotron od Nvidii w swojego nowego systemu retrieval'u pierwszego stopnia, opartego na agentach AI. System oferuje znaczące ulepszenia wydajności - odpowiada na zapytania cztery razy szybciej niż wcześniejsze rozwiązania, jednocześnie redukując błędy o 20 procent i minimalizując zużycie tokenów o 90 procent.
Ta optymalizacja ma praktyczne znaczenie dla przedsiębiorstw korzystających z Box'a do zarządzania dokumentami i zawartością. Szybsze wyszukiwanie z mniejszą ilością błędów oznacza bardziej niezawodne odpowiedzi na pytania pracowników. Drastyczne obniżenie zużycia tokenów bezpośrednio przekłada się na niższe koszty operacyjne modeli AI, co jest coraz ważniejsze w dobie wzrostu wydatków na LLM'y.
Zainteresowanie Box'a modelem Nemotron pokazuje trend w branży - firmy B2B zaczynają wybierać gotowe modele od producentów hardware'u, takie jak Nvidia, zamiast tworzyć własne rozwiązania. Takie podejście pozwala na szybszą implementację i gwarancję optymalizacji dla konkretnego sprzętu, co ma coraz większe znaczenie w kontekście rosnących wymagań wokół wydajności i kosztów.