Kategorie:
Robots.txt
Beiträge über robots.txt, Crawling-Regeln und die höflichen Zettel an Suchmaschinenroboter.
-
Die robots.txt hängt jetzt als Hausordnung im Treppenhaus
Im Treppenhaus hängt eine robots.txt wie eine Hausordnung für Crawler. Höflich ist sie, ein Schloss ist sie nicht, und ernst nimmt sie sich trotzdem.