Generador de robots.txt
Crea un archivo robots.txt válido en segundos. Elige una plantilla, personaliza las reglas, previsualiza en vivo y descarga.
robots.txt Generator construye archivos robots.txt válidos en segundos con preajustes para vacío, permitir todo, prohibir todo, WordPress, Shopify, Ghost y bloqueo de rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Añade reglas user-agent personalizadas y URLs de sitemap con vista previa en vivo. Copia o descarga el resultado. Desarrollado por FreeToolHub.
Muchos rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, etc.) respetan voluntariamente robots.txt, pero algunos lo ignoran. Para una protección más sólida, combina robots.txt con bloqueos del lado del servidor o la cabecera HTTP X-Robots-Tag.
Reglas por user-agent
Sitemaps
Preguntas frecuentes
¿Qué es un archivo robots.txt?
Un archivo robots.txt indica a los rastreadores de los motores de búsqueda qué partes de tu sitio pueden o no pueden acceder. Se coloca en la raíz de tu dominio y es el primer archivo que la mayoría de rastreadores solicita al visitar el sitio.
¿Dónde debo colocar mi archivo robots.txt?
Debe estar en la raíz de tu dominio — por ejemplo, https://example.com/robots.txt. Las ubicaciones en subdirectorios se ignoran. Cada subdominio necesita su propio robots.txt (por ejemplo, blog.example.com/robots.txt es independiente de example.com/robots.txt).
¿Cuál es la diferencia entre Allow y Disallow?
Disallow indica al rastreador que no debe acceder a las rutas listadas. Allow permite explícitamente rutas que, de otro modo, coincidirían con una regla Disallow — útil para crear excepciones. Una línea Disallow: vacía significa permitir todo.
¿Cómo bloqueo los rastreadores de IA para que no copien mi sitio?
Usa la plantilla Bloquear rastreadores de IA de arriba. Añade reglas Disallow: / para GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot y otros grandes rastreadores de entrenamiento de IA. Ten en cuenta que no todos los bots de IA respetan robots.txt — combínalo con bloqueos del lado del servidor para mayor protección.
¿Puede robots.txt bloquear completamente que un motor de búsqueda indexe mis páginas?
No. robots.txt controla el rastreo, no la indexación. Una página bloqueada en robots.txt puede seguir apareciendo en los resultados de búsqueda si otras páginas enlazan a ella. Para evitar la indexación, usa una metaetiqueta noindex o una cabecera HTTP.
¿Necesito un archivo robots.txt si quiero que se rastree todo?
No. Si no tienes un archivo robots.txt, los rastreadores asumen que todo está permitido. Solo es necesario cuando quieres restringir el acceso o indicar a los rastreadores dónde está tu sitemap.
¿Cómo compruebo si mi robots.txt funciona?
Sube el archivo a la raíz de tu dominio y visita tudominio.com/robots.txt en el navegador. Para pruebas más profundas, usa el comprobador de robots.txt de Google Search Console o Bing Webmaster Tools. Te muestran exactamente qué URLs están bloqueadas o permitidas para rastreadores específicos.