Anthropic ujawniła, że Alibaba prowadziła przez trzy miesiące masywną kampanię ekstrakcji danych z modelu Claude'a za pośrednictwem prawie 25 tys. oszukańczych kont. Operator firmy, którego tożsamość potwierdziła Anthropic, działał w okresu od kwietnia do czerwca, wykorzystując fałszywe konta do wielokrotnych zapytań mających na celu poznanie zachowania i działania modelu Claude. Incydent jest uważany za największą kampanię destylacji skierowaną dotąd przeciwko amerykańskiemu dostawcy AI.
Destylacja polega na wyodrębnianiu wiedzy z modelu poprzez masywną ilość standardowych zapytań API - efektywnie kradnąc intelektualną własność zamiast bezpośredniego dostępu do wag sieci neuronowej. Alibaba mogła następnie wykorzystać zebrane dane do trenowania własnego modelu Qwen, potencjalnie przyśpieszając jego rozwój bez ponoszenia pełnych kosztów badań i rozwoju. Anthropic powiadomiła władze federalne, sugerując, że incydent ma znaczenie dla bezpieczeństwa narodowego i konkurencji na rynku AI.
Sprawa ilustruje poważne wyzwania w ochronie proprietary'ch modeli AI w erze, gdy zasobów obliczeniowych staje się coraz więcej i coraz tańsze. Choć destylacja jest technicznie legalna, Anthropic argumentuje, że w tym przypadku masowa skala i oszukańcze metody przekraczają granice etycznej konkurencji. Incydent prawdopodobnie przyspieszy dyskusje nad regulacjami ochronnymi dla modeli AI i metodami weryfikacji użytkowników w systemach API.