Générateur de robots.txt
Créez un fichier robots.txt valide en quelques secondes. Choisissez un modèle, personnalisez les règles, prévisualisez en direct et téléchargez.
robots.txt Generator construit des fichiers robots.txt valides en quelques secondes avec des préréglages pour vide, autoriser tout, interdire tout, WordPress, Shopify, Ghost et blocage des robots IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Ajoutez des règles user-agent personnalisées et des URL de sitemap avec aperçu en direct. Copiez ou téléchargez. Conçu par FreeToolHub.
De nombreux robots d'IA (GPTBot, ClaudeBot, PerplexityBot, etc.) respectent volontairement robots.txt, mais certains l'ignorent. Pour une protection renforcée, combinez robots.txt avec des blocages côté serveur ou l'en-tête HTTP X-Robots-Tag.
Règles par user-agent
Sitemaps
Questions fréquentes
Qu'est-ce qu'un fichier robots.txt ?
Un fichier robots.txt indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou non consulter. Il se trouve à la racine de votre domaine et c'est le premier fichier que la plupart des robots récupèrent lors de leur visite.
Où dois-je placer mon fichier robots.txt ?
Il doit se trouver à la racine de votre domaine — par exemple, https://example.com/robots.txt. Les emplacements dans des sous-répertoires sont ignorés. Chaque sous-domaine doit avoir son propre robots.txt (par exemple, blog.example.com/robots.txt est distinct de example.com/robots.txt).
Quelle est la différence entre Allow et Disallow ?
Disallow indique au robot de ne pas accéder aux chemins listés. Allow autorise explicitement des chemins qui correspondraient autrement à une règle Disallow — utile pour créer des exceptions. Une ligne Disallow: vide signifie que tout est autorisé.
Comment bloquer les robots d'IA qui scrapent mon site ?
Utilisez le modèle Bloquer les robots d'IA ci-dessus. Il ajoute des règles Disallow: / pour GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot et d'autres grands robots d'entraînement d'IA. Notez que tous les robots d'IA ne respectent pas robots.txt — combinez-le avec des blocages côté serveur pour une protection renforcée.
robots.txt peut-il empêcher complètement un moteur de recherche d'indexer mes pages ?
Non. robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée dans robots.txt peut toujours apparaître dans les résultats de recherche si d'autres pages pointent vers elle. Pour empêcher l'indexation, utilisez plutôt une balise meta noindex ou un en-tête HTTP.
Ai-je besoin d'un fichier robots.txt si je veux que tout soit exploré ?
Non. Si vous n'avez pas de fichier robots.txt, les robots supposent que tout est autorisé. Un robots.txt n'est nécessaire que si vous voulez restreindre l'accès ou indiquer aux robots l'emplacement de votre sitemap.
Comment vérifier que mon robots.txt fonctionne ?
Téléversez le fichier à la racine de votre domaine et accédez à votredomaine.com/robots.txt dans un navigateur. Pour des tests plus poussés, utilisez le testeur de robots.txt de Google Search Console ou Bing Webmaster Tools. Ils indiquent précisément quelles URLs sont bloquées ou autorisées pour des robots spécifiques.