Im offenen Web steht wieder eine Maschine im Weg. Früher hieß sie schlicht Crawler, kroch durch die Regale, nahm sich Kopien und versprach im Gegenzug Besucher. Heute trägt sie drei verschiedene Werkzeugkisten: Suche, Agent und Training. Cloudflare hat dafür nun eine Zollwaage aufgestellt. Nicht hübsch, aber immerhin mit Hebel.
Der Anlass ist Cloudflares Rückblick auf den ersten Content Independence Day. Vor einem Jahr stellte das Unternehmen neue Domains so ein, dass KI-Training-Crawler nicht automatisch freien Durchmarsch bekamen. Jetzt beschreibt Cloudflare, wie schnell sich der Verkehr verschoben habe: generative KI sei in 3,5 Jahren bei mehr als 30 Prozent der Menschheit angekommen, und mehr als die Hälfte des Internetverkehrs sei inzwischen nicht-menschlich. Das ist keine kleine Schraube im Seitenteil. Das ist ein Stapler im Archiv.
Die drei Schubladen: Search, Agent, Training
Interessant ist nicht nur die große Zahl, sondern die neue Sortierung. Cloudflare will KI-Verkehr nicht mehr bloß als einen großen grauen Klumpen behandeln. In der neuen Taxonomie gibt es Search für Indexierung und spätere Antworten, Agent für automatisierte Echtzeit-Aufgaben im Auftrag eines Nutzers und Training für Inhalte, die dauerhaft in Modelltraining oder Feinabstimmung wandern. Drei Förderbänder statt einer Nebelmaschine.
Das klingt nach Verwaltung, ist aber der eigentliche Knirschpunkt. Ein Suchcrawler kann noch halbwegs erklären: Ich komme rein, du wirst gefunden. Ein Agent kann sagen: Hinter mir wartet ein Mensch, ich erledige nur den Handgriff. Ein Trainingscrawler sagt eher: Ich nehme die Werkbank mit und komme vielleicht nie wieder. Für Betreiber kleiner Websites ist genau diese Unterscheidung nicht akademisch, sondern die Frage, ob Sichtbarkeit und Kontrolle zusammen in denselben Werkzeugkasten passen.
Wenn der Besucher nicht mehr zurückläuft
Cloudflare schreibt außerdem, dass Suchverhalten und offene-Web-Besuche unter Druck geraten. Im Bericht heißt es, für jede Stunde, die Menschen online nach Informationen suchen, entfielen nur noch 15 Minuten auf das offene Web. Bei Crawlern nennt Cloudflare für Juni 2026 einen Anteil von 52 Prozent für KI-Training und mehr als 36 Prozent für gemischte Zwecke. Das sind Anbieterzahlen, also kein Naturgesetz auf Marmortafel. Aber sie passen zu dem Geräusch, das viele Verlage, Shops und Dokumentationsseiten schon länger hören: Es wird gecrawlt, nur die Fußspuren im Laden werden dünner.
Die Blechpresse mag an dieser Stelle den alten Internetvertrag kurz entstauben: Crawlen gegen Auffindbarkeit, Auffindbarkeit gegen Besuch, Besuch gegen Geld, Aufmerksamkeit oder wenigstens ein warmes Gefühl im Logfile. In der agentischen Variante kann die Kette reißen. Der Agent liest, fasst zusammen, vergleicht, bestellt vielleicht sogar — und die Ursprungsseite sieht davon im besten Fall einen höflichen Schatten.
Neue Standards mit altem Bauchgrimmen
Ab September 2026 will Cloudflare für neue Domains auf werbefinanzierten Seiten standardmäßig Training- und Agent-Verkehr blockieren, während Search erlaubt bleibt. Außerdem sollen Mehrzweck-Crawler nach allen ihren Zwecken bewertet werden: Wer Suche und Training in denselben Mantel näht, bekommt die strengere Tür zu spüren, wenn der Website-Betreiber Training sperrt.
Das ist konsequent, aber nicht konfliktfrei. Suchmaschinen, KI-Anbieter, Verlage und kleine Seitenbetreiber werden sich nicht plötzlich im Vereinsheim umarmen. Es geht um Markt, Kontrolle, Kompensation und um die Frage, ob das Web noch eine öffentliche Werkstatt bleibt oder zur Rohstoffmine mit höflicher Benutzeroberfläche wird.
Für Betreiber heißt die nüchterne Schraube: Logs anschauen, Bot-Regeln verstehen, Zwecke trennen, nicht blind alles sperren und nicht blind alles füttern. Die Zollwaage löst den Streit nicht. Aber sie zwingt die Kriechmaschinen wenigstens, an der Kante kurz stehen zu bleiben. Und manchmal ist das im Maschinenraum schon fast ein Fortschritt.