Bir sitenin robots.txt dosyasını çekip analiz edin. Belirli URL yollarının bot tarafından erişilip erişilemeyeceğini test edin.
Robots.txt, web sitelerinin arama motoru botlarına ve diğer crawler'lara hangi sayfalara erişebileceklerini belirten bir dosyadır. Bu araç, herhangi bir sitenin robots.txt dosyasını çeker, kuralları analiz eder ve belirli bir URL yolunun belirli bir bot tarafından erişilip erişilemeyeceğini test etmenizi sağlar.
Kontrol etmek istediğiniz sitenin adresini girin.
"Robots.txt Çek" butonuna tıklayın. Dosya otomatik olarak çekilir ve kurallar listelenir.
URL Test bölümünden bot ve yol seçerek belirli bir URL'in engellenip engellenmediğini kontrol edin.
Robots.txt dosyası zorunlu mu?
Hayır. Robots.txt dosyası opsiyoneldir. Dosya yoksa botlar tüm sayfalara erişebilir.
Disallow: / ne anlama gelir?
Belirtilen User-Agent'ın sitenin tamamına erişiminin engellendiğini ifade eder.
Allow ve Disallow çakışırsa hangisi geçerli olur?
Daha spesifik (uzun) olan kural öncelik alır. Aynı uzunluktaysa Allow geçerlidir.
Botlar robots.txt'e uymak zorunda mı?
Robots.txt bir "öneri" niteliğindedir. Saygın botlar (Googlebot, Bingbot vb.) bu kurallara uyar, ancak kötü niyetli botlar görmezden gelebilir.