robots.txt 생성기
몇 초 만에 유효한 robots.txt 파일을 만드세요. 프리셋을 선택하고, 규칙을 맞춤 설정하고, 실시간으로 미리보기하고 다운로드하세요.
robots.txt Generator는 비어 있음, 모두 허용, 모두 차단, WordPress, Shopify, Ghost, AI 크롤러 차단(GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot) 등 프리셋을 활용해 유효한 robots.txt 파일을 몇 초 만에 만듭니다. 사용자 지정 user-agent 규칙과 사이트맵 URL을 실시간 미리보기와 함께 추가할 수 있습니다. 결과를 복사하거나 내려받을 수 있습니다. 제공: FreeToolHub.
많은 AI 크롤러(GPTBot, ClaudeBot, PerplexityBot 등)는 robots.txt를 자발적으로 준수하지만 일부는 무시합니다. 더 강력한 보호를 위해 robots.txt를 서버 측 차단이나 X-Robots-Tag HTTP 헤더와 결합하세요.
User-agent 규칙
사이트맵
자주 묻는 질문
robots.txt 파일이란 무엇인가요?
robots.txt 파일은 검색 엔진 크롤러에게 사이트의 어느 부분에 접근할 수 있는지 알려줍니다. 도메인의 루트에 위치하며, 대부분의 크롤러가 사이트를 방문할 때 처음으로 가져오는 파일입니다.
robots.txt 파일은 어디에 두어야 하나요?
도메인의 루트에 있어야 합니다 — 예: https://example.com/robots.txt. 하위 디렉터리에 있는 파일은 무시됩니다. 각 서브도메인은 자체 robots.txt가 필요합니다(예: blog.example.com/robots.txt은 example.com/robots.txt과 별개입니다).
Allow와 Disallow의 차이는 무엇인가요?
Disallow는 크롤러에게 나열된 경로를 가져오지 말라고 지시합니다. Allow는 Disallow 규칙과 일치할 수 있는 경로를 명시적으로 허용합니다 — 예외를 만들 때 유용합니다. 빈 Disallow: 줄은 모두 허용한다는 뜻입니다.
AI 크롤러가 내 사이트를 스크래핑하는 것을 어떻게 차단하나요?
위의 AI 크롤러 차단 프리셋을 사용하세요. GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot 및 기타 주요 AI 학습 크롤러에 대해 Disallow: / 규칙을 추가합니다. 모든 AI 봇이 robots.txt를 준수하는 것은 아니므로 더 강력한 보호를 위해 서버 측 차단과 결합하세요.
robots.txt로 검색 엔진이 페이지를 인덱싱하는 것을 완전히 차단할 수 있나요?
아니요. robots.txt는 크롤링을 제어할 뿐 인덱싱을 제어하지 않습니다. robots.txt에서 차단된 페이지도 다른 페이지가 그 페이지로 링크를 걸면 검색 결과에 나타날 수 있습니다. 인덱싱을 막으려면 대신 noindex 메타 태그나 HTTP 헤더를 사용하세요.
모든 것을 크롤링하고 싶다면 robots.txt 파일이 필요한가요?
아니요. robots.txt 파일이 없으면 크롤러는 모든 것이 허용된다고 가정합니다. robots.txt는 접근을 제한하거나 크롤러에게 사이트맵 위치를 알려주고 싶을 때만 필요합니다.
robots.txt가 작동하는지 어떻게 테스트하나요?
파일을 도메인 루트에 업로드하고 브라우저에서 yourdomain.com/robots.txt을 방문하세요. 더 깊은 테스트는 Google Search Console의 robots.txt 테스터나 Bing Webmaster Tools를 사용하세요. 특정 크롤러에 대해 어떤 URL이 차단되거나 허용되는지 정확히 보여줍니다.