Sayfaları, robots.txt dosyasını kullanarak engelleme veya kaldırma robots.txt dosyası web'i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden once, belirli sayfalara erişmelerini onleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tumu bir robots.txt dosyasındaki yonergeleri gozetse de bazı robotlar yonergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam gondericilerle diğer kotu amaclı kişiler bu dosyayı goz ardı edebilir. Bu nedenle, gizli bilgileri şifreyle korumayı oneriyoruz.) Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz icerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur. Google, robots.txt tarafından engellenen icerik sayfalarını taramamasına veya dizine eklememesine karşın, URL’lerini web uzerindeki diğer sayfalarda bulduğu takdirde bu URL’leri dizine ekleyebilir. Sonuc olarak, sayfanın URL’si ve buyuk olasılıkla bağlantı metni gibi halka acık olan veya Acık Dizin Projesi’ndeki (www.dmoz.org) başlık gibi diğer bilgiler Google arama sonuclarında goruntulenebilir. Bir robots.txt dosyası kullanmak icin etki alanınızın kokune erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu oğrenebilirsiniz). Bir alan adının kokune erişiminiz yoksa, erişimi robots etiketini kullanarak kısıtlayabilirsiniz. __________________