Robots.txt Dosyası Ne İşe Yarar?
Robots.txt dosyası, arama motoru botlarına sitenin hangi bölümlerinin taranabileceği konusunda yönerge verir. Küçük bir dosyadır ama yanlış kullanılırsa büyük sorun çıkarabilir.
Bu dosya ile gereksiz klasörlerin taranması engellenebilir. Ancak önemli sayfalar yanlışlıkla kapatılırsa Google bu sayfalara ulaşamayabilir.
Robots.txt indexleme garantisi vermez, sadece tarama davranışına yön verir. Bir sayfanın arama sonuçlarından kaldırılması için farklı yöntemler gerekebilir.
Statik sitelerde assets, yönetim kalıntıları veya test klasörleri için dikkatli ayar yapılabilir. Fakat içerik sayfaları kesinlikle yanlışlıkla engellenmemelidir.
Dosyada sitemap adresinin belirtilmesi faydalıdır. Böylece botlar site haritasını daha kolay bulabilir.
Robots.txt basit görünür ama dikkat isteyen bir dosyadır. Emin olunmayan durumda sade bırakmak, yanlış engelleme yapmaktan daha güvenlidir.