Crea un robots.txt válido con reglas de allow, disallow, crawl-delay y sitemap.
Los archivos se procesan en tu navegador, sin subirse a ningún servidor. El sitio descarga el código y los recursos necesarios. Sin cuentas ni rastreadores.
Usa Descargar para guardar esta herramienta como un archivo HTML y usarla sin conexión.
Privacidad →— la salida aparece aquí —
Deja el agente de usuario como User-agent: *, bloquea /admin/ y /cart/ en líneas separadas y añade el sitemap https://example.com/sitemap.xml. El archivo incluye las dos reglas Disallow y termina con una línea Sitemap.
robots.txt pide a los rastreadores que no descarguen páginas; no las oculta. Una URL bloqueada puede indexarse igualmente si otros sitios la enlazan, y cualquiera puede leer el archivo, así que nunca incluyas rutas secretas. Para dejar una página fuera de los resultados, permite el rastreo y usa noindex.
Genera un archivo robots.txt conforme a los estándares a partir de tus reglas de rastreo. El archivo se crea localmente en tu navegador.