TinyFish udostępnił BigSet, innowacyjny system multi-agentowy, który przekształca proste, pisane słowami opisy zbiorów danych w strukturalne tabele gotowe do użytku. Wystarczy opisać, jaki dataset Ci potrzebny, a system automatycznie go konstruuje, pobierając dane z internetu.
System opiera się na modelu z orkiestratorem i zespołem równoległych sub-agentów. Orkiestrator interpretuje Twoją anglojęzyczną instrukcję, a następnie deleguje pracę specjalistycznym agentom, które przeszukują sieć web w poszukiwaniu odpowiednich informacji. Każdy agent pracuje niezależnie, ale zsynchronizowanie, co pozwala na szybkie zwrócenie wyników.
To znaczący krok naprzód w automatyzacji przygotowania danych, które tradycyjnie wymaga mnóstwa ręcznej pracy. BigSet otwiera nowe możliwości dla badaczy, inżynierów i firm, które chcą szybko prototypować lub trenować modele na świeżych, aktualnych zbiorach danych. Fakt, że projekt jest otwartoźródłowy, oznacza, że społeczność może go rozwijać i dostosowywać do swoich potrzeb.