Generator robots.txt
Zbuduj prawidłowy plik robots.txt w kilka sekund. Wybierz szablon, dostosuj reguły, zobacz podgląd na żywo i pobierz.
robots.txt Generator buduje poprawne pliki robots.txt w kilka sekund, wykorzystując presety dla pustego, dla zezwolenia na wszystko, blokady wszystkiego, WordPress, Shopify, Ghost oraz blokowania crawlerów AI (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Dodawaj własne reguły user-agent i adresy sitemap z podglądem na żywo. Kopiuj lub pobierz wynik. Stworzone przez FreeToolHub.
Wiele crawlerów AI (GPTBot, ClaudeBot, PerplexityBot itd.) dobrowolnie respektuje robots.txt, ale niektóre go ignorują. Dla silniejszej ochrony połącz robots.txt z blokadami po stronie serwera lub nagłówkiem HTTP X-Robots-Tag.
Reguły user-agent
Mapy witryny
Najczęściej zadawane pytania
Czym jest plik robots.txt?
Plik robots.txt mówi crawlerom wyszukiwarek, do jakich części Twojej witryny mogą lub nie mogą mieć dostęp. Znajduje się w głównym katalogu domeny i jest pierwszym plikiem, po który sięga większość crawlerów podczas odwiedzin.
Gdzie umieścić plik robots.txt?
Musi znajdować się w głównym katalogu Twojej domeny — na przykład https://example.com/robots.txt. Lokalizacje w podkatalogach są ignorowane. Każda subdomena potrzebuje własnego robots.txt (np. blog.example.com/robots.txt jest oddzielny od example.com/robots.txt).
Jaka jest różnica między Allow a Disallow?
Disallow informuje crawlera, aby nie pobierał wymienionych ścieżek. Allow wyraźnie zezwala na ścieżki, które w przeciwnym razie pasowałyby do reguły Disallow — przydatne do tworzenia wyjątków. Pusta linia Disallow: oznacza zezwolenie na wszystko.
Jak zablokować crawlery AI przed skanowaniem mojej witryny?
Użyj szablonu Zablokuj crawlery AI powyżej. Dodaje on reguły Disallow: / dla GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot i innych dużych crawlerów do trenowania AI. Pamiętaj, że nie wszystkie boty AI respektują robots.txt — połącz to z blokadami po stronie serwera dla silniejszej ochrony.
Czy robots.txt może całkowicie zablokować wyszukiwarce indeksowanie moich stron?
Nie. robots.txt kontroluje crawlowanie, a nie indeksowanie. Strona zablokowana w robots.txt nadal może pojawić się w wynikach wyszukiwania, jeśli inne strony do niej linkują. Aby zapobiec indeksowaniu, użyj metatagu noindex lub nagłówka HTTP.
Czy potrzebuję pliku robots.txt, jeśli chcę, aby wszystko było crawlowane?
Nie. Jeśli nie masz pliku robots.txt, crawlery zakładają, że wszystko jest dozwolone. Plik robots.txt jest wymagany tylko wtedy, gdy chcesz ograniczyć dostęp lub wskazać crawlerom lokalizację mapy witryny.
Jak sprawdzić, czy mój robots.txt działa?
Prześlij plik do głównego katalogu domeny i odwiedź twojadomena.pl/robots.txt w przeglądarce. Do głębszych testów użyj testera robots.txt w Google Search Console lub Bing Webmaster Tools. Pokazują one dokładnie, które adresy URL są zablokowane lub dozwolone dla konkretnych crawlerów.