Arena, platforma do porównywania modeli AI, w zaledwie osiem miesięcy od komercjalizacji osiągnęła przychody roczne na poziomie 100 milionów dolarów. Projekt, który zaczął się jako inicjatywa badawcza na Uniwersytecie Kalifornii w Berkeley w 2023 roku, stał się jednym z najszybciej rozwijających się biznesów w przestrzeni AI.
Platforma działa na prostej zasadzie - użytkownicy widzą dwie anonimowe odpowiedzi od różnych modeli AI na to samo pytanie i głosują, która jest lepsza. Ten crowdsourcingowy model zebrania ocen okazał się niezwykle efektywny dla twórców modeli, którzy chcą porównać swoje systemy z konkurencją i uzyskać wiarygodne benchmarki poza proprietary testami. Arena stała się de facto standardem w branży do oceny jakości modeli.
Taki wzrost wskazuje na fundamentalny problem, któremu muszą stawić czoła firmy pracujące nad AI - jak wiarygodnie ocenić i porównać wydajność swoich systemów. Tradycyjne benchmarki często nie odzwierciedlają rzeczywistkiego użytku, a Arena wypełniła tę lukę. Wartość biznesu Arena pokazuje, że przedsiębiorcy są gotowi znacznie inwestować w narzędzia, które pomagają im zrozumieć pozycję ich modeli na rynku.