Coğu wordpress kullanıcısının robots.txt ile başı derttedir. Duzgun bir robots.txt sizi google da yuksek sıralara cıkarmaz tabi ki ama en azından yanlış robots.txt kullanıpta hic indexlenmeme gibi bir sorun yaşamazsınız. Şimdi sizinle kendi kullandığım robots.txt dosyasını paylaşacağım. En iyi robots.txt diye birşey yok aslında herkes kendi sitesine gore duzenlemeli kendine gore en uygun olanı kendi dosya yapısına gore bulmalıdır.

Robots.txt de gecen komutlardan bahsedelim biraz.

Sitemap: Adından da belli olduğu gibi, sitenizin dizin haritasını belirler. Arama motorlarının botları geldiği zaman bildirir.

Allow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişip bundakileri gonul rahatlığı ile indexleyebilirsin diyor.

Disallow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişemezsin paşam, erişip napıcaksın indexlenmesin istiyorum benim malım bende kalsın diyor.

User-agent: (Bot ismi) : Bu komut ile de istediğimiz arama motorunun botuna istediğimiz izni verebiliyoruz. Bu sayede botlar uzun uzun uğraşmaktansa listeden kendi adına bakıyor neler yapabilir goruyor, işini halledip gidiyor.

Azıcıkta botlardan bahsedelim.

Ninjabot : Google dan gorsel acı harici pek farkı yoktur, bazı oncelikleri vardır temel yapı olarak google ile birebir aynı diyebiliriz, zaten google'ın logosunu kıyıda koşede bir yerlerde gorursunuz bu arama motorunda. Bu arama motorunu genellikle webmasterlar kullanır ben zamanında cok kullandım hala kullanan vardır bir faydası olur belki diye robots.txt' me ye ekledim.

Googlebot : Sitemizde ki yazıları, sayfaları tarar

Googlebot-Mobile : Mobil kullanıcılar icin yazıları, sayfaları tarar

Googlebot-Image : Google gorseller icin sitemizde ki resimleri tarar

Mediapartners-Google : Sitenizde yayınlanan adsense reklamlarının iceriğini belirlemek icin sitemizi tarar

Adsbot-Google : AdWords acılış sayfası kalitesini olcmek icin sayfaları tarar.

WordPress icin en iyi Robots.txt yi goruntulemek icin tıklayın.