Robots.txt Dosyası Nedir?

Yazan Zeynel Akçay Tarih 2015-12-24

Robots.txt dosyası google botları için bir harita görevi görmektedir. Nasıl mı ? Yayına verdigimiz web sayfalarımız google botları tarafından indexlenmektedir, çünkü internet dedigimiz dünyada'da veriler hızla çoğalmaktadır, bu verilere biz kullanıcılar ihtiyacımız dogrultusunda erişmek istemekteyiz. Eger arama motoru botları bu internet sayfalarındaki verileri indexlememiş olsa idi, biz binlerce  domain ismini aklımızda tutmamız gerekecekti. Soru şu internete verdigimiz sayfaaların, klasorlerin botlar tarafından indexlenmesini istermiyiz?  - Hayır , işte burada robots.txt dosyası devreye giriyor, google botlarının indexlemesini istemediğimiz dosyları,dizinleri burada belirtiyoruz. Çünkü google botları siteyi indexlemye geldiğinde ilk robots.txt dosyası var mı ona bakıyor, yoksa ne var ne yok indexliyor.

Örnegin, yayına verdigimiz web sitelerin admin dizinlerinin google tarafından indexletmeyiz, çünkü bu bir güvenlik açıgı oluşturabilir ayrıyetten gereksiz bir indexletme olacaktır.

Aşagıda kod admin dizinini google botları tarafından indexlemesini engelemektedir.

User-agent: *
Disallow: /admin/


 

Taglar: