このツールについて
クロールルールから規格準拠の robots.txt ファイルを生成します。ファイルはブラウザ内でローカルに作成されます。
よくある質問
robots.txt はどこに置きますか？
ドメインのルート（例: https://example.com/robots.txt）に置き、クローラーが見つけられるようにします。
Disallow は何をしますか？
行儀のよいクローラーに対し、列挙したパスを取得しないよう要求します。1 行に 1 パス、スラッシュで始めます。
プライバシーを標準に
🤖
robots.txt 生成ツール
allow、disallow、crawl-delay、sitemap のルールを含む有効な robots.txt を作成します。
ファイルはこの端末に残ります
ファイルはブラウザ内で処理され、アップロードされません。ツールの実行に必要なコードと素材はダウンロードされます。アカウントも追跡もありません。
ダウンロードを使うと、このツールを1つのHTMLファイルに保存してオフラインで使えます。
プライバシー →— ここに結果が表示されます —
具体例を試す
例
ユーザーエージェントは User-agent: * のまま、/admin/ と /cart/ を別々の行で禁止し、サイトマップ https://example.com/sitemap.xml を追加します。ファイルには 2 つの Disallow ルールが並び、最後に Sitemap 行が入ります。
注意点
robots.txt はクローラーにページを取得しないよう求めるだけで、ページを隠すものではありません。ブロックした URL も他サイトからリンクされればインデックスされることがあり、ファイルは誰でも読めるので、秘密のパスは書かないでください。検索結果から外したいページは、クロールを許可したうえで noindex を使います。