robots.txt-generator
Bouw in seconden een geldig robots.txt-bestand. Kies een sjabloon, pas regels aan, bekijk een live preview en download.
robots.txt Generator bouwt geldige robots.txt-bestanden in seconden met presets voor leeg, alles toestaan, alles weigeren, WordPress, Shopify, Ghost en het blokkeren van AI-crawlers (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Voeg eigen user-agent-regels en sitemap-URL's toe met live preview. Kopieer of download het resultaat. Gemaakt door FreeToolHub.
Veel AI-crawlers (GPTBot, ClaudeBot, PerplexityBot enz.) respecteren robots.txt vrijwillig, maar sommige negeren het. Voor sterkere bescherming combineer je robots.txt met blokkades aan de serverkant of de X-Robots-Tag HTTP-header.
User-agent-regels
Sitemaps
Veelgestelde vragen
Wat is een robots.txt-bestand?
Een robots.txt-bestand vertelt crawlers van zoekmachines welke delen van je site ze wel of niet mogen bezoeken. Het staat in de root van je domein en is het eerste bestand dat de meeste crawlers ophalen bij hun bezoek.
Waar moet ik mijn robots.txt-bestand plaatsen?
Het moet in de root van je domein staan — bijvoorbeeld https://example.com/robots.txt. Locaties in submappen worden genegeerd. Elk subdomein heeft zijn eigen robots.txt nodig (bijvoorbeeld blog.example.com/robots.txt staat los van example.com/robots.txt).
Wat is het verschil tussen Allow en Disallow?
Disallow vertelt een crawler dat de vermelde paden niet opgehaald mogen worden. Allow staat expliciet paden toe die anders zouden matchen met een Disallow-regel — handig voor uitzonderingen. Een lege Disallow:-regel betekent alles toestaan.
Hoe blokkeer ik AI-crawlers die mijn site scrapen?
Gebruik de sjabloon Blokkeer AI-crawlers hierboven. Die voegt Disallow: /-regels toe voor GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot en andere grote AI-trainingscrawlers. Let op: niet alle AI-bots respecteren robots.txt — combineer met blokkades aan de serverkant voor sterkere bescherming.
Kan robots.txt een zoekmachine volledig verhinderen mijn pagina's te indexeren?
Nee. robots.txt regelt crawlen, niet indexeren. Een pagina die geblokkeerd is in robots.txt kan nog steeds in zoekresultaten verschijnen als andere pagina's ernaar linken. Om indexering te voorkomen gebruik je in plaats daarvan een noindex-metatag of HTTP-header.
Heb ik een robots.txt-bestand nodig als ik wil dat alles gecrawld wordt?
Nee. Als je geen robots.txt-bestand hebt, gaan crawlers ervan uit dat alles is toegestaan. Een robots.txt is alleen nodig als je toegang wilt beperken of crawlers naar je sitemap wilt verwijzen.
Hoe test ik of mijn robots.txt werkt?
Upload het bestand naar de root van je domein en bezoek jouwdomein.nl/robots.txt in een browser. Voor diepere tests gebruik je de robots.txt-tester van Google Search Console of Bing Webmaster Tools. Die laten precies zien welke URL's geblokkeerd of toegestaan zijn voor specifieke crawlers.