关于此工具
根据你的抓取规则生成符合标准的 robots.txt 文件。该文件在你的浏览器本地构建。
常见问题
robots.txt 放在哪里？
放在你域名的根目录，例如 https://example.com/robots.txt，以便爬虫找到它。
Disallow 有什么作用？
它请求行为规范的爬虫不要抓取列出的路径；每行一个路径，以斜杠开头。
默认保护隐私
🤖
robots.txt 生成器
构建包含 allow、disallow、crawl-delay 和 sitemap 规则的有效 robots.txt。
文件始终留在此设备上
— 输出将显示在这里 —
试试完整示例
示例
保留用户代理 User-agent: *，分行禁止 /admin/ 和 /cart/，并添加站点地图 https://example.com/sitemap.xml。文件会列出两条 Disallow 规则，并以 Sitemap 行结尾。
注意事项
robots.txt 只是请求爬虫不要抓取页面，并不会隐藏页面。如果其他网站链接到被屏蔽的网址，它仍可能被收录，而且任何人都能读取此文件，所以切勿列出秘密路径。要让页面不出现在搜索结果中，请允许抓取并使用 noindex。