Neden robots.txt dosyasına ihtiyacım var?
Tum onemli arama motorları, sitenize girer girmez oncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bolumune, orumceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman icin yararlıdır. Cunku bu dosya orumcekler icin bir karşılama dosyası, menu gibi gorev yapar.
Neden orumcekleri engellemek isteyebilirim?
1. Site henuz tamamlanmamış olabilir. Ya da henuz tam oalrak bitmemiş sayfalar iceriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin icin ozel olan bir iceriğe ya da sitenizde bir bolume sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda cıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasorlerin ya da teşekkur ettiğiniz, icinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasorlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, gecişli sayfalarınız varsa butun robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı orumceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden orumcekleri engellemek isteyebilirim?
Tum onemli arama motorları, sitenize girer girmez oncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bolumune, orumceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman icin yararlıdır. Cunku bu dosya orumcekler icin bir karşılama dosyası, menu gibi gorev yapar.
Neden orumcekleri engellemek isteyebilirim?
1. Site henuz tamamlanmamış olabilir. Ya da henuz tam oalrak bitmemiş sayfalar iceriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin icin ozel olan bir iceriğe ya da sitenizde bir bolume sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda cıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasorlerin ya da teşekkur ettiğiniz, icinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasorlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, gecişli sayfalarınız varsa butun robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı orumceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden orumcekleri engellemek isteyebilirim?
Robots.txt dosyası oluşturmak
Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde iceriği şu şekildedir :
User-Agent: [Orumcek ya da Bot ismi]
Disallow: [Klasor ya da Dosya ismi]
Robots.txt ile belirli bir dosyayı belirli bir bottan korumak
Mesela "Haberler" diye bir bolum oluşturuyorsunuz ve henuz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tum robotlar olduğu icin ozellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tum robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler
Koruduğunuz bolum isminin başına ve sonuna slah işareti "/" koymanız o klasordeki tum dosyaları kapsayacaktır.
Tum robotlara kayıt izmi vermek
Hedefimiz yine tum robotlar olduğu icin yıldız "*" işareti kullanarak Disallow bolumunu boş bırakıyoruz.
User-agent: *
Disallow:
Tum robotları dosya ve klasorlerinizden uzak tutmak
Yukarıdaki koda cok benzeyen ama ufak bir değişikliği olan bir kod ile tum robotları dosya ve kalsorlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow:
Robots.txt ile birden fazla klasor engellemek
Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasorleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasorunuzun icindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt
Her klasor icin ayrı bir komut yazmak en verimlisidir.
Sadece Altavista orumceğinin girmesini istemediğimiz klasorumuze, Altavista robotunun ismi olan Scooter ı ekliyoruz.
User-Agent: Scooter
Disallow:
Google'ın resim dosyalarımızdan uzak durmasını istiyorsak
User-Agent: Googlebot-Image
Disallow: /images
Eğer dosyalarınız "images" klasorunde değil ve dağınık olarak değişik yerlerdeyse o zaman
User-Agent: Googlebot-Image
Disallow:
Alıntıdır.
__________________