🤖

Générateur de robots.txt

Créez un robots.txt valide avec des règles allow, disallow, crawl-delay et sitemap.

Vos fichiers restent sur cet appareil

Les fichiers sont traités dans votre navigateur, jamais envoyés. Le site télécharge le code et les ressources nécessaires aux outils. Sans compte ni traceurs.

Utilisez Télécharger pour enregistrer cet outil dans un fichier HTML utilisable hors ligne.

Confidentialité →

User-agent

Crawl-delay (secondes)

Chemins autorisés (un par ligne)

Chemins interdits (un par ligne)

URL du sitemap

sortie

— la sortie apparaît ici —

Essayez un exemple détaillé

Exemple

Gardez l’agent utilisateur User-agent: *, interdisez /admin/ et /cart/ sur des lignes séparées et ajoutez le sitemap https://example.com/sitemap.xml. Le fichier liste les deux règles Disallow et se termine par une ligne Sitemap.

À retenir

robots.txt demande aux robots de ne pas récupérer des pages ; il ne les cache pas. Une URL bloquée peut quand même être indexée si d’autres sites la lient, et tout le monde peut lire le fichier : n’y listez jamais de chemins secrets. Pour exclure une page des résultats, autorisez l’exploration et utilisez noindex.

À propos de cet outil

Génère un fichier robots.txt conforme aux standards à partir de vos règles d'exploration. Le fichier est construit localement dans votre navigateur.

Foire aux questions

Où placer le robots.txt ?

À la racine de votre domaine, par exemple https://example.com/robots.txt, afin que les robots d'exploration puissent le trouver.

À quoi sert Disallow ?

Il demande aux robots d'exploration respectueux de ne pas récupérer les chemins listés ; un chemin par ligne, commençant par une barre oblique.