Web sunucunuzdaki hangi dizinlerin ve dosyaların Robot Haric Tutma Protokolu (REP) uyumlu arama motoru tarayıcısının (diğer bir deyişle bir robot veya bot) ziyaret etmesine izin verilmediğini , yani olmaması gereken bolumleri kontrol etmek icin bir robots.txt dosyası kullanabilirsiniz. taranmak. Bunun tanım gereği taranmayan bir sayfanın dizine eklenmeyeceği anlamına gelmediğini anlamak onemlidir . Bir sayfanın dizine eklenmesini nasıl engelleyeceğinizi gormek icin bu konuya bakın .

Adımlar:​Tarayıcıdan engellemek istediğiniz web sunucunuzdaki dizinleri ve dosyaları belirleyin

Arama motorları tarafından ziyaret edilmesini istemediğiniz yayınlanmış icerik icin web sunucunuzu inceleyin. İzin vermemek istediğiniz web sunucunuzdaki erişilebilir dosya ve dizinlerin bir listesini oluşturun. Ornek Botların / cgi-bin, / scripts ve / tmp gibi site dizinlerini (veya sunucu mimarinizde mevcutsa eşdeğerlerini) yok saymasını isteyebilirsiniz. Belirli bir arama motoru botu icin genel bir tarama yonergeleri kumesinin otesinde ek talimatlar belirtmeniz gerekip gerekmediğini belirleyin.

Tum botlar icin gecerli olan genel yonergelerin otesinde engellemek istediğiniz sitenizi tarayan botlar olup olmadığını gormek icin web sunucunuzun yonlendirme gunluklerini inceleyin.

NOTBingbot, kendisi icin belirli bir talimatlar kumesi bulduğunda, genel bolumde listelenen yonergeleri yok sayacaktır; bu nedenle, onlar icin oluşturduğunuz belirli yonergelere ek olarak, dosyanın kendi bolumlerinde tum genel yonergeleri tekrarlamanız gerekecektir. .

Robots.txt dosyasını oluşturmak icin bir metin duzenleyici kullanın ve iceriğin botlar tarafından ziyaret edilmesini engellemek icin REP yonergeleri ekleyin. Metin dosyası ASCII veya UTF-8 kodlamasında kaydedilmelidir .

Robotlar, robots.txt dosyasında kullanıcı aracıları olarak belirtilir. Dosyanın başlangıcına, şu satırı ekleyerek tum botlar icin gecerli olan yonergelerin ilk bolumunu başlatın: User-agent: * Engellenmesini istediğiniz iceriği listeleyen Disallow yonergelerinin bir listesini oluşturun. OrnekDaha once kullandığımız dizin orneklerimiz goz onune alındığında, bu tur yonergeler şu şekilde gorunecektir: Kullanıcı aracısı: * İzin verme: / cgi-bin / İzin verme: / scripts / İzin verme: / tmp /

NOT Bir satırda birden fazla icerik referansını listeleyemezsiniz, bu nedenle engellenecek her model icin yeni bir Disallow: yonergesi oluşturmanız gerekir. Bununla birlikte, joker karakterler de kullanabilirsiniz. Her URL modelinin, gecerli sitenin kokunu temsil eden eğik cizgi ile başladığını unutmayın. Ayrıca bir dizinde saklanan ve icerikleri aksi takdirde engellenecek olan dosyalar icin bir İzin Ver: yonergesi de kullanabilirsiniz. Joker karakterlerin kullanılması ve İzin Verme ve İzin Verme yonergeleri oluşturma hakkında daha fazla bilgi icin, Web Yoneticisi Merkezi blogunun "boşlukta kaybolmasını" onleme başlıklı blog makalesine bakın .
Tarama gecikmesi gibi, tum botlar icin uygun olmayan belirli botlar icin ozelleştirilmiş yonergeler eklemek istiyorsanız, bunları ilk genel bolumden sonra ozel bir bolume ekleyin ve Kullanıcı aracısı referansını belirli bir botla değiştirin. Uygulanabilir bot adlarının bir listesi icin Robots Veritabanına bakın.


NOTTek tek botlar icin ozelleştirilmiş yonerge kumeleri eklemek onerilen bir strateji değildir. Genel bolumdeki yonergeleri tekrar etme ihtiyacı, dosya bakım gorevlerini karmaşıklaştırır. Ayrıca, bu ozelleştirilmiş bolumlerin uygun şekilde korunmasındaki ihmaller, genellikle arama motoru botlarıyla ilgili tarama sorunlarının kaynağıdır.
İsteğe bağlı: Site haritası dosyanıza bir referans ekleyin (varsa)

Sitenizdeki en onemli sayfaları listeleyen bir Site Haritası dosyası oluşturduysanız, dosyanın sonunda kendi satırında referans vererek botu ona yonlendirebilirsiniz. Ornek Bir Site Haritası dosyası genellikle bir sitenin kok dizinine kaydedilir. Boyle bir Site Haritası yonerge satırı şuna benzer: Site haritası: Loading... Robots.txt dosyanızı doğrulayarak hataları kontrol edin

Robots.txt dosyasını sitenizin kok dizinine yukleyin



NOT Yeni robots.txt dosyanızı arama motorlarına gondermenize gerek yoktur. Arama motoru botları, sitenizin kok dizininde duzenli olarak robots.txt adlı bir dosyayı otomatik olarak arar ve bulunursa, varsa hangi yonergelerin kendileriyle ilgili olduğunu gormek icin once o dosyayı okur. Arama motorlarının robots.txt dosyanızın bir kopyasını onbelleklerinde en az birkac saat tuttuğunu, bu nedenle değişikliklerin tarama davranışlarına yansımasının birkac saat surebileceğini unutmayın.