Erstelle eine gültige robots.txt mit Allow-, Disallow-, Crawl-Delay- und Sitemap-Regeln.
Dateien werden im Browser verarbeitet, nie hochgeladen. Die Website lädt den benötigten Code und die Ressourcen herunter. Ohne Konto und Tracker.
Speichere dieses Tool über Herunterladen als einzelne HTML-Datei zur Offline-Nutzung.
Datenschutz →— Ausgabe erscheint hier —
Lass den User-Agent bei User-agent: *, sperre /admin/ und /cart/ in getrennten Zeilen und füge die Sitemap https://example.com/sitemap.xml hinzu. Die Datei listet beide Disallow-Regeln und endet mit einer Sitemap-Zeile.
robots.txt bittet Crawler, Seiten nicht abzurufen; sie versteckt sie nicht. Eine gesperrte URL kann trotzdem indexiert werden, wenn andere Seiten darauf verlinken, und jeder kann die Datei lesen – liste also nie geheime Pfade. Um eine Seite aus den Suchergebnissen zu halten, erlaube das Crawlen und nutze noindex.
Generiert eine standardkonforme robots.txt-Datei aus deinen Crawl-Regeln. Die Datei wird lokal in deinem Browser erstellt.