Cloudflare ogłosił nową politykę, która zmusza firmy AI do wyraźnego rozdzielenia crawlerów wyszukiwarek od tych dedykowanych treningowaniu modeli sztucznej inteligencji do 15 września. Niespełnienie tego warunku grozi blokowaniem domyślnym na stronach współpracujących z platformą.
Polityka stanowi odpowiedź na rosnące napięcia między wydawcami a firmami AI. Wydawcy coraz głośniej domagają się odszkodowania za wykorzystywanie ich treści do trenowania dużych modeli języka. Cloudflare, który obsługuje infrastrukturę dla milionów witryn, ma możliwość wprowadzenia zmian na szeroką skalę. Rozdzielenie crawlerów pozwala właścicielom stron na bardziej granularną kontrolę - mogą pozwolić na indexowanie do wyszukiwarek, jednocześnie blokując zbieranie danych do AI bez specjalnych umów licencyjnych.
Zmiana ma potencjał do znaczącego wpłynięcia na biznes wielu firm AI. Zamiast nieograniczonego dostępu do publicznych treści internetowych, będą zmuszeni do negocjowania z wydawcami lub korzystania ze źródeł, które wyraźnie wyrażą zgodę na to użycie. To może przyspieszyć trendy takie jak płacone warunki licencji dla treningowych zbiorów danych, które już widać u gigantów takich jak OpenAI czy Google.