Crie um robots.txt válido com regras de allow, disallow, crawl-delay e sitemap.
Os arquivos são processados no navegador, nunca enviados. O site baixa o código e os recursos necessários. Sem contas ou rastreadores.
Use Baixar para salvar esta ferramenta em um único arquivo HTML para uso offline.
Privacidade →— a saída aparece aqui —
Mantenha o user agent como User-agent: *, bloqueie /admin/ e /cart/ em linhas separadas e adicione o sitemap https://example.com/sitemap.xml. O arquivo lista as duas regras Disallow e termina com uma linha Sitemap.
O robots.txt pede aos rastreadores que não busquem as páginas; ele não as esconde. Uma URL bloqueada ainda pode ser indexada se outros sites apontarem para ela, e qualquer pessoa pode ler o arquivo, então nunca liste caminhos secretos. Para manter uma página fora dos resultados, permita o rastreamento e use noindex.
Gera um arquivo robots.txt em conformidade com os padrões a partir das suas regras de rastreamento. O arquivo é montado localmente no seu navegador.