robots.txt Nedir?

robots.txt Nedir?

robots.txt, bir web sitesinin kök dizininde bulunan ve tarayıcı botlara hangi alanların taranabileceğini bildiren düz metin dosyasıdır. Örneğin https://example.com/robots.txt adresinde yer alır.

Bu dosya bir güvenlik mekanizması değildir. Gizli yönetim paneli, kişisel veri veya hassas dosya robots.txt ile korunmaz; çünkü dosya herkese açıktır ve kötü niyetli botlar kurallara uymayabilir.

Nasıl Çalışır?

robots.txt içinde botlara göre kurallar yazılır:

User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml

User-agent hangi botun hedeflendiğini, Disallow taranmaması istenen yolları, Allow istisnaları belirtir. Sitemap satırı arama motorlarına site haritasının yerini gösterebilir.

Dikkat Edilecekler

robots.txt taramayı yönlendirir; indekslemeyi her durumda engellemez. Bir URL başka sitelerden link alıyorsa, arama motoru içeriği taramadan da URL’yi sonuçlarda gösterebilir. İndeks dışı bırakma için sayfa seviyesinde noindex veya erişim kontrolü gerekir.

Sitemap ve teknik SEO çalışmalarında robots.txt, tarama bütçesini gereksiz filtre, sepet, arama sonucu ve test sayfalarından uzak tutmak için kullanılır. Yanlış yazılmış bir Disallow: / satırı ise tüm sitenin taranmasını durdurabilir.