Kategorie:
Webcrawler
Texte über Crawler, Bots, Suchmaschinenbesuche und maschinelles Lesen von Websites.
-
Die robots.txt hängt jetzt als Hausordnung im Treppenhaus
Fiktionale Blechpresse-Reportage über eine robots.txt, die im Treppenhaus hängt: höflich zu Crawlern, nutzlos als Schloss, erstaunlich ernst für einen Zettel.