Cactus Compute zaprezentował Needle 2 - model z 45 milionami parametrów o rozmiarze zaledwie 14MB, który uruchamia się w 28MB pamięci RAM. To rozwiązanie całkowicie zmienia możliwości urządzeń brzegowych - wersje skwantyzowane do CQ2-bit dostarczane są jako binarne pliki bez potrzeby instalowania runtime czy pobierania czegokolwiek podczas wnioskowania.
Wydajność jest imponująca dla tego formatu - model generuje 500 tokenów na sekundę na Raspberry Pi 5, 400-1500 tokenów na sekundzie na Meta Quest 3S i Vision Pro, a 300-700 na tanich telefonach poniżej 200 dolarów. Needle 2 powstał z założeniem, że mapowanie nieuprzątniętych zdań na typowe sygnatury funkcji nie wymaga ogólnej wiedzy ani otwartej prywatności - wystarczy kompaktowy model nastawiony na tool calling i ekstrakcję strukturalną. Model dostępny jest jako prebudowane binaria i biblioteka statyczna dla macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS i WebAssembly.
To rozwiązanie celuje w rynek urządzeń z ograniczonymi zasobami - IoT, noszalne gadżety, automobilową technikę pokładową, robotykę i tanie telefony. Pebble już wykorzystuje Needle 2 w aplikacji Index 01 do offline'owych poleceń głosowych. Dla firm budujących firmware i aplikacje na ograniczonej sprzęcie to znacząca zmiana, gdyż pozwala na pełną niezależność od chmury i gwarancję prywatności użytkownika.