Od 15 września Cloudflare zmienia domyślne ustawienia dla crawlerów AI, blokując boty agentów działające w czasie rzeczywistym na stronach ze zmienną reklamową. Firma ogłosiła tę zmianę 1 lipca, zastępując jeden uniwersalny przełącznik blokujący boty trzema oddzielnymi kategoriami do bardziej precyzyjnej kontroli.
Nowe kategorie to Search dla botów indeksujących strony w celu późniejszego odpowiadania na pytania, Agent dla zautomatyzowanych systemów działających w czasie rzeczywistym dla użytkownika takich jak fetch bot ChatGPT czy agenci управляjący przeglądarką, oraz Training dla crawlerów pobierających zawartość do wag modeli. Nowe kontrole zostały uruchomione 1 lipca dla wszystkich klientów, w tym warstwy darmowej. Od 15 września domyślnie zablokowane będą Training i Agent na stronach wyświetlających reklamy, podczas gdy Search pozostanie dozwolony.
Cloudflare uzasadnia to logką, że reklama stanowi dowód na to, iż strona została zbudowana dla człowieka. Crawler wyszukiwarki, który odsyła czytelnika, jest odesłaniem. Bot, który czyta stronę i przekazuje odpowiedź komuś innemu, już nie. Dla deweloperów agentów AI oznacza to konieczność uzyskania pozwolenia od właścicieli stron, aby ich boty mogły działać na pełnią potencjału.