Arama motoru botlarının sitenizde neleri tarayabileceğini belirleyin. Bot bazında izin ver / engelle kuralları ve sitemap URL'si desteğiyle robots.txt dosyanızı oluşturun.
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp tarayamayacaklarını söyleyen bir metin dosyasıdır. Admin paneli, giriş sayfaları veya test klasörleri gibi bölümleri arama sonuçlarından dışlamak için kullanılır.
Doğru yapılandırılmış bir robots.txt, tarama bütçenizin (crawl budget) önemli sayfalara harcanmasını sağlar ve gereksiz içeriklerin indexlenmesinin önüne geçer.
Her bot için "İzin Ver" veya "Engelle" durumunu seçin. Özel path kuralları ekleyebilirsiniz.
Sitemap URL'nizi girin. Bu Google'ın sitenizi daha hızlı keşfetmesine yardımcı olur.
"Oluştur" butonuna tıklayın, kodu kopyalayın ve web sitenizin kök dizinine robots.txt adıyla kaydedin.
Robots.txt dosyası mutlaka gerekli mi?
Zorunlu değil, ancak şiddetle önerilir. Yoksa botlar sitenizin her bölümünü tarar; bu hem gereksiz bant genişliği tüketir hem de istemediğiniz sayfaların indexlenmesine yol açabilir.
Engellediğim sayfalar Google'da çıkmaz mı?
Robots.txt bir tavsiyedir, kesin bir yasak değildir. Sayfanın indexlenmesini tamamen engellemek için noindex meta etiketini kullanmalısınız.
Tüm siteyi engelleyebilir miyim?
Evet. "Tüm Botlar" için "Engelle" seçeneği ve boş Disallow kuralı bunu sağlar. Ancak bu, sitenizin hiçbir sayfasının arama sonuçlarında görünmeyeceği anlamına gelir.