Robots.txt dosyasını kullanarak sayfaları engelleme veya kaldırma

Googlebot'un sitenizdeki sayfaları taramasını onlemek icin bir robots.txt dosyası kullanabilirsiniz.

Orneğin, robots.txt dosyasını el ile oluşturuyorsanız, Googlebot'un belirli bir dizindeki (orneğin lemurlar) tum sayfaları taramasını onlemek icin aşağıdaki robots.txt girişini kullanırsınız:

User-agent: Googlebot
Disallow: /lemurlar

Googlebot'un belirli bir dosya turundeki (orneğin .gif) tum dosyaları taramasını engellemek icin aşağıdaki robots.txt girişini kullanabilirsiniz:

User-agent: Googlebot
Disallow: /*.gif$

Googlebot'un ? iceren URL'leri taramasını engellemek icin (daha acık belirtmek gerekirse, etki alanı adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'leri) taramasını engellemek icin):

User-agent: Googlebot
Disallow: /*?

robots.txt tarafından engellenen icerik sayfalarını taramamamıza veya dizinlerini oluşturmamamıza karşın, bunları web uzerindeki diğer sayfalarda bulduğumuz takdirde URL'leri tarayıp dizinlerini oluşturabiliriz. Sonuc olarak, sayfanın URL'si ve buyuk olasılıkla herkesin kullanımına acık olan site bağlantılarındaki metin veya Acık Dizin Projesi'nden bir başlık gibi (www.dmoz.org) diğer bilgiler Google arama sonuclarında gorunebilir. Ancak, sayfalarınızın hicbir iceriği taranmaz, dizine eklenmez veya goruntulenmez.

Bir sayfanın, başka sitelerde bu sayfa icin bağlantı olsa bile Google dizinine eklenmesini butunuyle onlemek icin bir noindex meta etiketi kullanın ve sayfanın robots.txt dosyasında gorunmemesini sağlayın. Googlebot sayfayı taradığında, noindex meta etiketini tanır ve URL'yi dizinden cıkarır.