Nums AI ogłosił wydanie Causilo, pretrennowanego modelu fundamentalnego stworzonym specjalnie dla zadań klasyfikacji i regresji na danych tabelarycznych, który pobił rekordy benchmarku TabArena w swojej kategorii. Model wyposażony jest w interfejs scikit-learn, dostępny jest w pełni open source na licencji Apache-2.0 wraz z pretrennymi wagami na platformie Hugging Face, co ułatwia jego integrację z istniejącymi przepływami pracy.
Causilo funkcjonuje na zasadzie in-context learning, co oznacza, że podczas predykcji przechowuje przykłady treningowe jako kontekst i dokonuje predykcji dla nowych danych w jednym przebiegu sieci. Kluczową zaletą jest to, że fit nie aktualizuje pretrennowanych wag modelu. Architektura modelu składa się z trzech faz: refinement, compression i in-context learning. Cechy są grupowane w zestawy po trzy, każda wartość jest osadzona z użyciem 16 uczonych częstości sinusa i cosinusa, a brakujące wartości otrzymują własny wector. Model obsługuje dane wejściowe w formie tablic NumPy lub DataFrames z biblioteki pandas, w tym zmienne kategoryczne i brakujące wartości, wspiera klasyfikację do 10 klas, a w wersji 1.0.1 dodano możliwość zwracania median i kwantyli na podstawie 999 natywnych kwantyli.
Jeśli chodzi o dostępność, model jest już dziś deployowalny dla celów badawczych i ewaluacji na kartach CUDA lub procesorach CPU. Jednak użytkownik pragnący wdrożyć Causilo w środowisku produkcyjnym, w celach komercyjnych lub poprzez hostowaną API, musi uzyskać osobną licencję od Nums AI. Model został pretrennowany wyłącznie na danych syntetycznych, bez wykorzystania zbiorów z benchmarku TabArena.