Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına (crawler/spider) sitenizin hangi bölümlerini tarayıp hangilerini taramayacaklarını söyleyen bir metin dosyasıdır. Robot Exclusion Protocol (REP) standardına dayanan bu dosya, SEO stratejinizin temel taşlarından biridir.

Robots.txt Neden Önemlidir?

Robots.txt dosyasının doğru yapılandırılması birçok nedenden kritiktir:

• Tarama bütçesi yönetimi: Arama motorları her site için sınırlı bir tarama bütçesi ayırır. Gereksiz sayfaların taranmasını engelleyerek önemli sayfalarınızın daha sık taranmasını sağlarsınız.
• Sunucu yükünü azaltma: Botların gereksiz istekleri sunucu kaynaklarını tüketir.
• Hassas alanları gizleme: Yönetim paneli veya geliştirme dizinlerinin indekslenmesini önlersiniz.
• Sitemap konumunu bildirme: Arama motorlarına sitemap dosyanızın yerini gösterir.

Temel Söz Dizimi (Syntax)

Robots.txt dosyası, basit direktiflerden oluşan düz metin formatındadır:

# Tüm botlar için kurallar
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /admin/public/

# Googlebot'a özel kurallar
User-agent: Googlebot
Disallow: /search/
Crawl-delay: 1

# Sitemap konumu
Sitemap: https://example.com/sitemap.xml

User-agent Direktifi

User-agent, kuralların hangi bot için geçerli olduğunu belirler. Yıldız (*) tüm botları temsil eder. Özel bot isimleri kullanarak farklı arama motorlarına farklı kurallar tanımlayabilirsiniz:

• Googlebot — Google arama botu
• Bingbot — Bing arama botu
• Yandex — Yandex arama botu
• Googlebot-Image — Google görsel arama botu

Disallow Direktifi

Disallow, belirtilen yolun taranmasını engeller. Boş değer bırakmak tüm sayfaların taranmasına izin verir:

# Belirli bir dizini engelle
Disallow: /admin/

# Belirli bir dosyayı engelle
Disallow: /gizli-sayfa.html

# Belirli bir parametreli URL'leri engelle
Disallow: /*?sort=
Disallow: /*?filter=

# Hiçbir şeyi engelleme (tamamına izin ver)
Disallow:

Allow Direktifi

Allow, Disallow ile engellenen bir dizin içindeki belirli yolları açmak için kullanılır:

User-agent: *
Disallow: /api/
Allow: /api/public/

Sitemap Direktifi

Sitemap direktifi, XML sitemap dosyanızın tam URL'sini arama motorlarına bildirir. Bu, robots.txt dosyasında en sık unutulan ancak çok değerli bir direktiftir:

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

Yaygın Hatalar

• Tüm siteyi engellemek: Disallow: / tüm sayfaların taranmasını engeller. Bu genellikle bir hatadır ve sitenizi arama sonuçlarından tamamen çıkarır.
• CSS ve JS dosyalarını engellemek: Arama motorları sayfanızı render etmek için bu dosyalara ihtiyaç duyar. Engellenmesi indeksleme sorunlarına yol açar.
• Robots.txt ile güvenlik sağlamaya çalışmak: Robots.txt bir güvenlik mekanizması değildir. Hassas veriler için kimlik doğrulama ve yetkilendirme kullanın.
• Yanlış dosya konumu: Robots.txt mutlaka kök dizinde olmalıdır: https://example.com/robots.txt
• Büyük/küçük harf duyarlılığı: URL yolları büyük/küçük harfe duyarlıdır. /Admin/ ve /admin/ farklı kurallardır.

Robots.txt Dosyanızı Test Edin

Robots.txt dosyanızı oluşturmak için Robots.txt Oluşturucu aracımızı, mevcut dosyanızın doğruluğunu kontrol etmek için ise Robots.txt Test aracımızı kullanabilirsiniz. Ayrıca Google Search Console'daki robots.txt test aracı ile Googlebot'un sayfalarınıza erişimini doğrulayabilirsiniz.