Kategorie:
Crawler
Webcrawler, Bots und maschinelle Zugriffe auf Inhalte.
-
HTTP 402 an der Kratzspur: Cloudflare stellt den KI-Crawler an die Kasse
Am Werkstatttor der Verlage hängt plötzlich ein Münzschlitz: Cloudflare macht aus dem bloßen Bot-Stopp eine Verhandlung über Crawl-Zugriff, Lizenzen und das gute alte „erst klopfen, dann saugen“. Es scheppert sachlich.
-
Der Suchroboter will jetzt quittieren
Im Suchmaschinenkeller raschelt der Crawler nicht mehr nur mit den Beinen, sondern mit der Kasse. Cloudflare probt eine Web-Ökonomie, in der Antwortmaschinen weniger blind kratzen und Inhalte nicht nur als kostenloses Schmierfett…