Quelle: https://cetin-consulting.de/wiki/robots-txt
Sprache: Deutsch

WIKI / Sichtbarkeit

# robots.txt

Auch bekannt als: Robots-Datei, Crawler-Regeln

## Was bedeutet das?

Eine robots.txt-Datei enthält Regeln für automatisierte Abrufe einer Website. Unterstützende Crawler können daraus entnehmen, welche Pfade sie abrufen dürfen. Die Datei steuert das Crawling und ist kein allgemeiner Schutz vor Zugriffen.

## Ein einfaches Beispiel.

Ein Betreiber erlaubt das Abrufen öffentlicher Leistungsseiten und begrenzt für einen bestimmten Crawler den Abruf eines anderen Bereichs.

## Darauf solltest du achten.

Eine Crawling-Sperre entfernt eine URL nicht zuverlässig aus dem Suchindex. Vertrauliche Inhalte brauchen Zugriffskontrollen; wichtige Indexierungsanweisungen müssen für den jeweiligen Crawler erreichbar bleiben.

## Diese Begriffe gehören dazu.

[SEO](https://cetin-consulting.de/wiki/seo)[XML-Sitemap](https://cetin-consulting.de/wiki/xml-sitemap)[llms.txt](https://cetin-consulting.de/wiki/llms-txt)

[Alle Begriffe im Wiki](https://cetin-consulting.de/wiki)

DAS THEMA VERTIEFEN

[Trends 14. Oktober 2026 llms.txt für GEO: Hilfreiche Ergänzung oder überschätzte Abkürzung? Die Datei llms.txt soll KI-Systemen wichtige Inhalte einer Website kompakt zugänglich machen. Sie kann ein sinnvoller Test sein, ersetzt aber weder gute Seiten noch technische SEO-Grundlagen. ca. 5 Min. Lesezeit](https://cetin-consulting.de/fachartikel/llms-txt-geo-einordnung)

[Meinung 17. Oktober 2026 SEO und GEO brauchen keine getrennten Inhalte Unternehmen brauchen keine doppelte Redaktion für klassische Suche und KI-Antworten. Eine belastbare Hauptseite, saubere Technik und gezielte Prüfungen sind die bessere Grundlage. ca. 4 Min. Lesezeit](https://cetin-consulting.de/fachartikel/seo-geo-keine-getrennten-inhalte)

[Tipps 29. Oktober 2026 Welche URL soll Google indexieren? Canonical-Tags richtig einsetzen Ähnliche Inhalte können über mehrere Adressen erreichbar sein. Canonical-Tags, Weiterleitungen, interne Links und die Sitemap sollten Google dieselbe bevorzugte URL zeigen. ca. 5 Min. Lesezeit](https://cetin-consulting.de/fachartikel/canonical-tag-url-google-indexierung)

[Tipps 02. November 2026 Gelöschte Seite: 404, 410 oder Weiterleitung? Eine alte URL braucht eine klare Entscheidung. Diese Anleitung zeigt, wann eine passende Weiterleitung sinnvoll ist, wann 404 oder 410 richtig sind und wie du Soft-404-Fehler vermeidest. ca. 5 Min. Lesezeit](https://cetin-consulting.de/fachartikel/geloeschte-seite-404-410-weiterleitung)

Kontakt: info@cetin-consulting.de
Website: https://cetin-consulting.de/