Bouw een geldige robots.txt met allow-, disallow-, crawl-delay- en sitemap-regels.
Bestanden worden in je browser verwerkt, nooit geüpload. De site downloadt de benodigde code en bestanden. Geen accounts of trackers.
Gebruik Downloaden om deze tool als één HTML-bestand op te slaan voor offline gebruik.
Privacy →— uitvoer verschijnt hier —
Laat de user agent op User-agent: *, blokkeer /admin/ en /cart/ op aparte regels en voeg de sitemap https://example.com/sitemap.xml toe. Het bestand bevat beide Disallow-regels en eindigt met een Sitemap-regel.
robots.txt vraagt crawlers pagina's niet op te halen; het verbergt ze niet. Een geblokkeerde URL kan toch geïndexeerd worden als andere sites ernaar linken, en iedereen kan het bestand lezen, dus noem nooit geheime paden. Wil je een pagina uit de zoekresultaten houden, sta crawlen dan toe en gebruik noindex.
Genereert een standaardconform robots.txt-bestand op basis van je crawlregels. Het bestand wordt lokaal in je browser gebouwd.