Gerador de robots.txt
Crie um arquivo robots.txt válido em segundos. Escolha um modelo, personalize as regras, pré-visualize ao vivo e baixe.
robots.txt Generator cria arquivos robots.txt válidos em segundos com predefinições para vazio, permitir tudo, bloquear tudo, WordPress, Shopify, Ghost e bloqueio de crawlers de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Adicione regras user-agent personalizadas e URLs de sitemap com prévia ao vivo. Copie ou baixe o resultado. Criado por FreeToolHub.
Muitos crawlers de IA (GPTBot, ClaudeBot, PerplexityBot etc.) respeitam voluntariamente o robots.txt, mas alguns o ignoram. Para uma proteção mais forte, combine o robots.txt com bloqueios no servidor ou o cabeçalho HTTP X-Robots-Tag.
Regras de user-agent
Sitemaps
Perguntas frequentes
O que é um arquivo robots.txt?
Um arquivo robots.txt informa aos crawlers dos mecanismos de busca quais partes do seu site podem ou não acessar. Ele fica na raiz do seu domínio e é o primeiro arquivo que a maioria dos crawlers busca ao visitar o site.
Onde devo colocar meu arquivo robots.txt?
Ele precisa estar na raiz do seu domínio — por exemplo, https://example.com/robots.txt. Locais em subdiretórios são ignorados. Cada subdomínio precisa do seu próprio robots.txt (por exemplo, blog.example.com/robots.txt é separado de example.com/robots.txt).
Qual é a diferença entre Allow e Disallow?
Disallow diz ao crawler para não acessar os caminhos listados. Allow permite explicitamente caminhos que, caso contrário, corresponderiam a uma regra Disallow — útil para criar exceções. Uma linha Disallow: vazia significa permitir tudo.
Como bloqueio crawlers de IA que raspam meu site?
Use o modelo Bloquear crawlers de IA acima. Ele adiciona regras Disallow: / para GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot e outros grandes crawlers de treinamento de IA. Observe que nem todos os bots de IA respeitam o robots.txt — combine com bloqueios no servidor para proteção mais forte.
O robots.txt pode bloquear totalmente a indexação das minhas páginas por um mecanismo de busca?
Não. O robots.txt controla o crawling, não a indexação. Uma página bloqueada no robots.txt ainda pode aparecer nos resultados de busca se outras páginas apontarem para ela. Para impedir a indexação, use uma metatag noindex ou um cabeçalho HTTP.
Preciso de um arquivo robots.txt se quero que tudo seja rastreado?
Não. Se você não tem um arquivo robots.txt, os crawlers assumem que tudo é permitido. Um robots.txt só é necessário quando você quer restringir o acesso ou apontar os crawlers para o seu sitemap.
Como testo se o meu robots.txt funciona?
Envie o arquivo para a raiz do seu domínio e acesse seudominio.com/robots.txt em um navegador. Para testes mais profundos, use o testador de robots.txt do Google Search Console ou o Bing Webmaster Tools. Eles mostram exatamente quais URLs estão bloqueadas ou permitidas para crawlers específicos.