robots.txt-generator
Byg en gyldig robots.txt-fil på sekunder. Vælg en forudindstilling, tilpas regler, se live-preview og download.
robots.txt Generator bygger gyldige robots.txt-filer på sekunder med forudindstillinger for blank, tillad alle, afvis alle, WordPress, Shopify, Ghost samt blokering af AI-crawlere (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Tilføj brugerdefinerede user-agent-regler og sitemap-URL'er med live forhåndsvisning. Kopiér eller download resultatet. Bygget af FreeToolHub.
Mange AI-crawlere (GPTBot, ClaudeBot, PerplexityBot osv.) respekterer frivilligt robots.txt, men nogle ignorerer den. For stærkere beskyttelse bør du kombinere robots.txt med server-side blokeringer eller X-Robots-Tag HTTP-headeren.
User-agent-regler
Sitemaps
Ofte stillede spørgsmål
Hvad er en robots.txt-fil?
En robots.txt-fil fortæller søgemaskinernes crawlere, hvilke dele af dit websted de må tilgå. Den ligger i roden af dit domæne og er den første fil, de fleste crawlere henter, når de besøger dit site.
Hvor skal jeg placere min robots.txt-fil?
Den skal ligge i roden af dit domæne — for eksempel https://example.com/robots.txt. Placeringer i undermapper ignoreres. Hvert subdomæne har brug for sin egen robots.txt (f.eks. er blog.example.com/robots.txt adskilt fra example.com/robots.txt).
Hvad er forskellen på Allow og Disallow?
Disallow fortæller en crawler, at den ikke må hente de angivne stier. Allow tillader eksplicit stier, som ellers ville matche en Disallow-regel — nyttigt til at lave undtagelser. En tom Disallow:-linje betyder, at alt er tilladt.
Hvordan blokerer jeg AI-crawlere fra at scrape mit site?
Brug forudindstillingen Bloker AI-crawlere ovenfor. Den tilføjer Disallow: /-regler for GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot og andre store AI-trænings-crawlere. Bemærk at ikke alle AI-bots respekterer robots.txt — kombinér med server-side blokeringer for stærkere beskyttelse.
Kan robots.txt helt blokere en søgemaskine fra at indeksere mine sider?
Nej. robots.txt styrer crawling, ikke indeksering. En side, der er blokeret i robots.txt, kan stadig optræde i søgeresultater, hvis andre sider linker til den. For at forhindre indeksering skal du bruge et noindex-metatag eller en HTTP-header i stedet.
Har jeg brug for en robots.txt-fil, hvis jeg vil have alt crawlet?
Nej. Hvis du ikke har en robots.txt-fil, antager crawlere, at alt er tilladt. En robots.txt er kun nødvendig, hvis du vil begrænse adgang eller pege crawlere mod dit sitemap.
Hvordan tester jeg, om min robots.txt virker?
Upload filen til roden af dit domæne og besøg ditdomæne.dk/robots.txt i en browser. For dybere testning kan du bruge Google Search Consoles robots.txt-tester eller Bing Webmaster Tools. De viser præcis, hvilke URL'er der er blokeret eller tilladt for specifikke crawlere.