robots.txt Oluşturucu
Saniyeler içinde geçerli bir robots.txt dosyası oluşturun. Bir şablon seçin, kuralları özelleştirin, canlı önizleyin ve indirin.
robots.txt Generator, boş, hepsine izin ver, hepsini engelle, WordPress, Shopify, Ghost ve yapay zekâ tarayıcılarını engelleme (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot) gibi hazır ayarlarla saniyeler içinde geçerli robots.txt dosyaları oluşturur. Canlı önizlemeyle özel user-agent kuralları ve sitemap URL'leri ekleyin. Sonucu kopyalayın veya indirin. FreeToolHub tarafından geliştirildi.
Birçok yapay zekâ tarayıcısı (GPTBot, ClaudeBot, PerplexityBot vb.) robots.txt dosyasına gönüllü olarak uyar, ancak bazıları görmezden gelir. Daha güçlü koruma için robots.txt'yi sunucu tarafı engellemeler veya X-Robots-Tag HTTP başlığı ile birleştirin.
User-agent kuralları
Site haritaları
Sık sorulan sorular
robots.txt dosyası nedir?
robots.txt dosyası, arama motoru tarayıcılarına sitenizin hangi bölümlerine erişebileceklerini bildirir. Etki alanınızın kökünde yer alır ve çoğu tarayıcının ziyaretlerinde ilk aldığı dosyadır.
robots.txt dosyamı nereye yerleştirmeliyim?
Etki alanınızın kökünde bulunmalıdır — örneğin https://example.com/robots.txt. Alt dizin konumları göz ardı edilir. Her alt alan adı kendi robots.txt dosyasına ihtiyaç duyar (örneğin blog.example.com/robots.txt, example.com/robots.txt'den ayrıdır).
Allow ile Disallow arasındaki fark nedir?
Disallow, tarayıcıya listelenen yollara erişmemesini söyler. Allow, aksi takdirde bir Disallow kuralıyla eşleşecek yollara açıkça izin verir — istisnalar oluşturmak için kullanışlıdır. Boş bir Disallow: satırı her şeye izin vermek anlamına gelir.
Yapay zekâ tarayıcılarının sitemi kazımasını nasıl engellerim?
Yukarıdaki Yapay zekâ tarayıcılarını engelle şablonunu kullanın. GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot ve diğer büyük yapay zekâ eğitim tarayıcıları için Disallow: / kuralları ekler. Tüm yapay zekâ botlarının robots.txt'ye uymadığını unutmayın — daha güçlü koruma için sunucu tarafı engellemelerle birleştirin.
robots.txt bir arama motorunun sayfalarımı dizine eklemesini tamamen engelleyebilir mi?
Hayır. robots.txt taramayı kontrol eder, dizine eklemeyi değil. robots.txt'de engellenen bir sayfa, başka sayfalar ona bağlantı verirse arama sonuçlarında yine görünebilir. Dizine eklemeyi engellemek için bunun yerine noindex meta etiketi veya HTTP başlığı kullanın.
Her şeyin taranmasını istiyorsam robots.txt dosyasına ihtiyacım var mı?
Hayır. robots.txt dosyanız yoksa, tarayıcılar her şeye izin verildiğini varsayar. robots.txt yalnızca erişimi kısıtlamak veya tarayıcıları site haritanıza yönlendirmek istediğinizde gereklidir.
robots.txt dosyamın çalışıp çalışmadığını nasıl test ederim?
Dosyayı etki alanınızın köküne yükleyin ve tarayıcıda alanadiniz.com/robots.txt adresine gidin. Daha derin testler için Google Search Console'un robots.txt Test Aracı'nı veya Bing Webmaster Tools'u kullanın. Belirli tarayıcılar için hangi URL'lerin engellendiğini veya izin verildiğini tam olarak gösterirler.