Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, arama motorları icin kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya icersinde bazı kodlar gorecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuc olarak Robots.txt Google botları icin olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce oğrenelim. Yeni bir metin belgesi acalım ismini Robots.txt yapalım. Robots.txt dosyamız icersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şoyledir: User-agent: Google Botu’nun adı gelecek Disallow: Botun izinlerini gireceğimiz komutlar yer alacak Ornek 1: PHP Code:
User-agent: *Disallow

Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları’nın isimleri gelecekti fakat “*” işaretini gordunuz. Bunun anlamı, siteniz tum Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir. Ornek 2: PHP Code:
User-agent: *Disallow: /

Gorduğunuz gibi birinci satırdaki user-agent kodumuzun anlamı tum Google Botları’na sitenizi indexlemesi icin izin verilmesiydi. Fakat ikinci satırda “/” boyle bir karakter goruyorsunuz. Bu karakterin anlamı site uzerinde tum dosyaların taranmaması isteniyor. Yani bu Robots.txt kod butununden de anlayacağımız şey, butun Google Botları’nca sitemizin hicbir dosyası indexlenmeyecek, taranmayacak. Ornek 2: PHP Code:
User-agent: *Disallow: cgi-binDisallow: imagesDisallow: tmpDisallow: /private/

Butun google botları, bu 4 dosyayı indexlemeyecektir. Ornek 3: PHP Code:
User-agent: DeepCrawlDisallow: /private/

DeepCrawl, bir google botudur. Gorevi ise; sitenizi uzun aralıklarla ziyaret edip, indexlenmesi icin gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasorunu indexlememeli. Ornek 4: PHP Code:
User-agent: *Disallow: directorydosya.html

Tum botlar, ilgili dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html haric diğer tum dosyaları tarar ve indexler. Ornek 5: PHP Code:
User-agent: *Allow: dosya1site.htmlDisallow: dosya1/

Bu kodların anlamı ise, tum Google Botları dosya dizininde bulunan site.html dosyası haric diğer tum dosyaları taramaz ve indexlemeyecektir. Wordpress icin ideal rotots.txt kodları; PHP Code:
User-agent: GooglebotDisallow: wp-contentDisallow: trackbackDisallow: wp-adminDisallow: archivesDisallow: index.phpDisallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: *feedDisallow: *trackbackUser-agent: Googlebot-ImageDisallow: wp-includesUser-agent: ia_archiverDisallow: User-agent: duggmirrorDisallow: /

__________________