Wordpress sitesi olanların Google icin en uygun robots dosyası aradıklarını duşunuyorum. Botların sitenizde hangi dizinleri ziyaret edip etmemesi ile ilgili oluşturmanız elzem olan bir dısya robots.txt. Peki bunun icin hazır olarak kullanabileceğiniz bir dosya var mı?

Evet var ve şimdi sizler icin paylaşıyorum.

WordPress icin hazır Robots.txt dosyası iceriği

Sitemap: siteadresi.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /



User-agent: duggmirror
Disallow: /