Bir sitenin robots.txt ve sitemap.xml dosyalarını çekip çapraz kontrol edin. Engellenen URL'leri, eksik direktifleri ve çakışmaları tespit edin.
Bu araç, bir web sitesinin robots.txt ve sitemap.xml dosyalarını aynı anda çekip analiz eder. İki dosya arasındaki tutarsızlıkları tespit eder: örneğin sitemap'te listelenen URL'lerin robots.txt tarafından engellenip engellenmediğini kontrol eder, eksik Sitemap direktiflerini belirler ve potansiyel SEO sorunlarını raporlar.
Kontrol etmek istediğiniz sitenin adresini girin.
"Analiz Et" butonuna tıklayın. Her iki dosya paralel olarak çekilir.
Çapraz kontrol sonuçlarını inceleyin. Kırmızı uyarılar öncelikli sorunları gösterir.
Neden çapraz kontrol önemlidir?
Sitemap'te listelenen bir URL robots.txt tarafından engelleniyorsa, arama motorları o sayfayı hem indexlemeye çalışır hem de engellendiğini görür. Bu tutarsızlık SEO performansınızı olumsuz etkiler.
robots.txt'te Sitemap direktifi zorunlu mu?
Hayır, ancak Google ve diğer arama motorları robots.txt içindeki Sitemap direktifini sitemap keşfetme yöntemi olarak kullanır. Eklenmesi önerilir.
Sitemap index nedir?
Birden fazla sitemap dosyasını tek bir dosyada listeleyen üst yapıdır. Büyük siteler genellikle sitemap index kullanır.