Generatore di robots.txt
Crea un file robots.txt valido in pochi secondi. Scegli un modello, personalizza le regole, controlla l'anteprima live e scarica.
robots.txt Generator costruisce file robots.txt validi in pochi secondi con preset per vuoto, consenti tutto, vieta tutto, WordPress, Shopify, Ghost e blocco dei crawler IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Aggiungi regole user-agent personalizzate e URL di sitemap con anteprima live. Copia o scarica il risultato. Realizzato da FreeToolHub.
Molti crawler di IA (GPTBot, ClaudeBot, PerplexityBot ecc.) rispettano volontariamente robots.txt, ma alcuni lo ignorano. Per una protezione più solida, combina robots.txt con blocchi lato server o l'header HTTP X-Robots-Tag.
Regole per user-agent
Sitemap
Domande frequenti
Cos'è un file robots.txt?
Un file robots.txt indica ai crawler dei motori di ricerca a quali parti del tuo sito possono o non possono accedere. Si trova nella root del tuo dominio ed è il primo file che la maggior parte dei crawler richiede quando visita il sito.
Dove devo posizionare il file robots.txt?
Deve trovarsi nella root del tuo dominio — per esempio https://example.com/robots.txt. Le posizioni in sottocartelle vengono ignorate. Ogni sottodominio richiede il proprio robots.txt (per esempio blog.example.com/robots.txt è separato da example.com/robots.txt).
Qual è la differenza tra Allow e Disallow?
Disallow indica al crawler di non accedere ai percorsi elencati. Allow autorizza esplicitamente percorsi che corrisponderebbero altrimenti a una regola Disallow — utile per creare eccezioni. Una riga Disallow: vuota significa consentire tutto.
Come blocco i crawler di IA che copiano il mio sito?
Usa il modello Blocca crawler di IA sopra. Aggiunge regole Disallow: / per GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot e altri grandi crawler di addestramento IA. Nota che non tutti i bot di IA rispettano robots.txt — combinalo con blocchi lato server per una protezione più forte.
robots.txt può impedire completamente a un motore di ricerca di indicizzare le mie pagine?
No. robots.txt controlla il crawling, non l'indicizzazione. Una pagina bloccata in robots.txt può comunque apparire nei risultati di ricerca se altre pagine la collegano. Per impedire l'indicizzazione, usa invece un meta tag noindex o un header HTTP.
Ho bisogno di un file robots.txt se voglio che tutto venga scansionato?
No. Se non hai un file robots.txt, i crawler presumono che tutto sia consentito. Un robots.txt è necessario solo se vuoi limitare l'accesso o indicare ai crawler dove si trova il sitemap.
Come verifico che il mio robots.txt funzioni?
Carica il file nella root del tuo dominio e visita tuodominio.com/robots.txt in un browser. Per test più approfonditi, usa il tester robots.txt di Google Search Console o Bing Webmaster Tools. Mostrano esattamente quali URL sono bloccati o consentiti per crawler specifici.