Kategorie:
Robots.txt
Beiträge über robots.txt, Crawling-Regeln und die höflichen Zettel an Suchmaschinenroboter.
-
Die robots.txt hängt jetzt als Hausordnung im Treppenhaus
Fiktionale Blechpresse-Reportage über eine robots.txt, die im Treppenhaus hängt: höflich zu Crawlern, nutzlos als Schloss, erstaunlich ernst für einen Zettel.