WIKI / Sichtbarkeit
robots.txt
Auch bekannt als: Robots-Datei, Crawler-Regeln
Was bedeutet das?
Eine robots.txt-Datei enthält Regeln für automatisierte Abrufe einer Website. Unterstützende Crawler können daraus entnehmen, welche Pfade sie abrufen dürfen. Die Datei steuert das Crawling und ist kein allgemeiner Schutz vor Zugriffen.
Ein einfaches Beispiel.
Ein Betreiber erlaubt das Abrufen öffentlicher Leistungsseiten und begrenzt für einen bestimmten Crawler den Abruf eines anderen Bereichs.
Darauf solltest du achten.
Eine Crawling-Sperre entfernt eine URL nicht zuverlässig aus dem Suchindex. Vertrauliche Inhalte brauchen Zugriffskontrollen; wichtige Indexierungsanweisungen müssen für den jeweiligen Crawler erreichbar bleiben.