Anthropic wydał FlashProve, otwarty system do provable inference, który pozwala kryptograficznie udowodnić, że odpowiedź pochodziła od konkretnego modelu AI. System to zkSNARK (zero-knowledge succinct non-interactive argument of knowledge) działający na ogromnych modelach - potrzebuje tylko jednego GPU H100 80 GB do generowania dowodów. Na 400-miliardowym modelu Llama 4 Maverick osiąga około 110 tokenów na sekundę, a wygenerowane dowody zajmują około 18,78 MB i weryfikują się w 17 sekund nawet na CPU.
Problem, który rozwiązuje FlashProve, jest fundamentalny dla bezpieczeństwa AI: gdy użytkownik pyta model przez API, nie ma możliwości sprawdzenia, który model faktycznie odpowiadał. Usługi routingowe mogą zastąpić drogi model tańszym zamiennikiem, atakujący mogą manipulować generowanymi tokenami, a sądów o jakości nie da się wyciągać wyłącznie z outputu. Anthropic wskazuje cztery praktyczne zastosowania: regulatorzy mogą potwierdzać, że infrastruktura obsługuje inference na właściwym sprzęcie (wspierając regulacje tempa rozwoju AI), laboratoria mogą wykrywać manipulacje na serwerach inference, użytkownicy mogą weryfikować źródło tekstu, a regulatorzy mogą egzekwować obowiązek używania wyłącznie zatwierdzonych modeli.
Otwarcie tego systemu przez Anthropic ma kluczowe znaczenie - to pierwszy praktykalny sposób na weryfikację pochodzenia odpowiedzi od wielomiliardowych modeli. Jednak system ma też znaczące ograniczenia: dowodzenie zajmuje 70-95 razy więcej czasu na GPU niż zwykły inference w vLLM, wymaga 290 GB RAM, a kontekst jest ograniczony do 1024 tokenów. Pomimo tego FlashProve jest rzędy wielkości szybszy od wcześniejszych open-source'owych systemów zkML na tym samym modelu, otwierając drogę do przyszłości, gdzie odpowiedzialność AI będzie weryfikowalna.