Crea un robots.txt valido con regole allow, disallow, crawl-delay e sitemap.
I file vengono elaborati nel browser, mai caricati su un server. Il sito scarica il codice e le risorse necessarie. Senza account né tracciamento.
Usa Scarica per salvare questo strumento in un unico file HTML da usare offline.
Privacy →— l'output appare qui —
Lascia lo user agent come User-agent: *, blocca /admin/ e /cart/ su righe separate e aggiungi la sitemap https://example.com/sitemap.xml. Il file elenca entrambe le regole Disallow e termina con una riga Sitemap.
robots.txt chiede ai crawler di non scaricare le pagine; non le nasconde. Un URL bloccato può comunque essere indicizzato se altri siti lo linkano, e chiunque può leggere il file, quindi non elencare mai percorsi segreti. Per tenere una pagina fuori dai risultati, consenti la scansione e usa noindex.
Genera un file robots.txt conforme agli standard a partire dalle tue regole di scansione. Il file viene creato localmente nel tuo browser.