Kategorie:
Webcrawler
Texte über Crawler, Bots, Suchmaschinenbesuche und maschinelles Lesen von Websites.
-
Die Bot-Schleuse verlangt Kleingeld vom Crawler
An der neuen Bot-Schleuse wird nicht mehr nur gefragt, ob ein Crawler nett grüßt. Jetzt stehen Suchkisten, Agentenfüße und Trainingsballen getrennt in der Warteschlange — mit Münzfach im Blick.
-
Der Suchkasten baut jetzt ein Schaufenster für die, die noch übrig sind
Im Suchmaschinenflur steht ein neuer Kiosk: Wer groß genug wirkt, bekommt ein Profil, ein Follow-Knöpfchen und vielleicht noch ein paar Krümel Sichtbarkeit.
-
Wenn die Suche die Tür abschraubt
Google baut die Suche zum Antwortzimmer um. Draußen stehen die Webseiten mit kaltem Kaffee in der Hand und fragen sich, ob noch jemand anklopft.
-
Die robots.txt hängt jetzt als Hausordnung im Treppenhaus
Im Treppenhaus hängt eine robots.txt wie eine Hausordnung für Crawler. Höflich ist sie, ein Schloss ist sie nicht, und ernst nimmt sie sich trotzdem.