Im Maschinenraum der Verlage steht jetzt ein Münzschlitz neben der Crawlerschranke. Nicht besonders poetisch, aber sehr Internet: Erst kam der Bot, dann kam der Staubsack, dann kam die Frage, ob ausgerechnet die Zeitungskiste wieder kostenlos an der Hintertür stehen soll.
Cloudflare hat AI Crawl Control allgemein verfügbar gemacht. Aus dem früheren AI-Audit-Werkzeug wird damit mehr als ein Zählwerk für Botspuren: zahlende Kunden können einzelne KI-Crawler blockieren und statt eines stummen „Nein“ einen anpassbaren HTTP-402-Statuscode „Payment Required“ zurückgeben. Der Server sagt also nicht nur: Tür zu. Er sagt: Tür zu, aber da drüben ist die Kasse.
Die alte Kratzspur bekommt ein Preisschild
Die Technik ist trocken, der Konflikt nicht. Publisher wollen gefunden werden, aber nicht unbedingt als kostenloses Rohmaterial im Trainingshäcksler enden. Cloudflare beschreibt genau diese Zwickmühle: komplett blockieren und mögliche Deals verpassen, oder alles durchlassen und hoffen, dass irgendwann ein Empfehlungslink wie ein verschämter Pfennig aus der Maschine fällt.
Der 402-Code ist hier weniger ein sauberer Standard-Triumph als ein neues Handzeichen im Werkstattnebel. Ein Bot, der anklopft, bekommt keine höfliche Fußmatte, sondern einen Zettel aus Blech: Zugriff ja vielleicht, aber bitte mit Lizenz, Kontaktweg oder sonstigem Geschäftsmodell. Cloudflare spricht von mehr als einer Milliarde 402-Antworten pro durchschnittlichem Tag bei seinen Kunden. Das ist kein zartes Klingeln mehr, das ist eine ganze Schicht am Münzzähler.
Robots.txt, aber mit Hausmeister und roter Kelle
Parallel schraubt Cloudflare an der klassischen Robotik-Verkehrsordnung. In einem zweiten Beitrag kündigt das Unternehmen verwaltete robots.txt-Regeln und Blockaden für monetarisierte Inhalte an. Dort stehen auch die Zahlen, die den Rost erklären: Für Juni 2025 nennt Cloudflare ein Crawl-zu-Referral-Verhältnis von 1.700:1 für OpenAI und 73.000:1 für Anthropic. Selbst wenn man Messunsicherheiten einpreist, klingt das nicht nach „wir bringen euch Publikum“, sondern eher nach „wir haben kurz den Keller leergeräumt“.
Interessant ist der Richtungswechsel: Nicht jeder Bot soll automatisch in dieselbe Schrottkiste. Such-Crawler, Agentenabrufe und Trainingssammler sollen sich unterscheidbar machen. TechCrunch berichtete außerdem über Cloudflares Plan, ab 15. September 2026 „Mixed-use“-Crawler auf werbefinanzierten Seiten standardmäßig stärker auszubremsen, wenn sie Suche, Agentennutzung und Training nicht sauber trennen. Das ist die bürokratische Variante eines Werkstattmeisters, der drei Schraubenkisten beschriftet und dann merkt, dass der Lehrling alles in die Jackentasche kippt.
Was daran knirscht
Natürlich löst ein 402 allein nicht das Internet. Ein Statuscode schreibt keine Verträge, prüft keine Urheberrechte und bringt keinen müden Lokalredakteur dazu, plötzlich eine Lizenzabteilung aus dem Besenschrank zu zaubern. Außerdem funktioniert das nur, wenn Crawler das Signal verstehen oder wenigstens wirtschaftlich ernst nehmen. Wer mit der Brechstange kommt, liest auch keine schön gesetzten Hausregeln.
Trotzdem verschiebt sich etwas. Die Debatte rutscht vom moralischen Dauerhupen in die Protokollschicht: Welche Bots sind Suche, welche Training, welche Agentenauftrag? Wer darf was, unter welchen Bedingungen, und wie sieht eine maschinenlesbare Verhandlung aus, ohne dass jede kleine Website gleich ein juristisches Walzwerk anschaffen muss?
Die Blechpresse notiert
Der KI-Crawler war lange der Gast, der mit großen Augen ins Archiv kam und mit einem Sack voller Artikel wieder hinausging. Jetzt steht am Ausgang eine verrostete Drehkreuzpresse. Sie ist nicht elegant. Sie quietscht. Sie zählt Münzen, Lizenzen und Absichten. Aber sie macht sichtbar, dass Datenverkehr nicht automatisch Gegenseitigkeit bedeutet.
Und irgendwo im Serverraum blinkt ein Lämpchen beleidigt, weil das Internet schon wieder erwachsen werden soll. Ausgerechnet mit einem HTTP-Code, der klingt wie eine alte Rechnung, die nie jemand richtig abheften wollte.