Merhaba
==============================
Robot dosyası amacı kısaca aram motorlarını bazı dosyalardan uzak tutmaktır orneğin belirtilen dosyayı arama motorları indexlemezler . vbulletin icinde index almaması gereken bazı dosyalar yada phpler olacağını unutmayın .
Ornek verecek olur isek

Kod: #ALL BOTS User-agent: * Disallow: *.js Disallow: /admincp/ Disallow: /chat/ Disallow: /clientscript/ Disallow: /cpstyles/ Disallow: /customavatars/ Disallow: /customprofilepics/ Disallow: /customgroupicons/ Yukarıda belirtline kodlar derki butun arama motoları bu dosyaları ve onların icinde bulunan alt dosyalarını indexlenmeyecektir



Peki neden indexlenmesin ? Cok basit google sizin admincp indexlese ( Gerci mumkun değil ama ) olsa sizce bunun size ne gibi zararları olur ? Yada images icinde buluna img cekse ve arama sorgularında bunu arayan kişiye gosterse bu arama sayısıda milyonları bulsa duşunun artık bakalım sizden neler cekiliyor bunlar sizlere anlatabilecegim en basit ve en akılca kalıcı olan uyarılarıdır tabiki bundan fazlası da var . Alta verdiğim Robots kendi kullandıgım Robots Kodlarıdır . Ve Ben uyelerin index alması taraftarı değilim bu sebep ile uyeleri kapattım sizler de istediğini gibi duzenleyebilirsiniz .

Kod: # robots.txt # http://vbulletin.web.tr # Sitemap: http://vbulletin.web.tr/xmlsitemap.php User-agent: Baiduspider Disallow: / User-agent: BoardTracker Disallow: / User-agent: Gigabot Disallow: / User-agent: Twiceler Disallow: / User-agent: Slurp Crawl-delay: 2 User-agent: msnbot Crawl-delay: 2 #ALL BOTS User-agent: * Disallow: *.js Disallow: /admincp/ Disallow: /chat/ Disallow: /clientscript/ Disallow: /cpstyles/ Disallow: /customavatars/ Disallow: /customprofilepics/ Disallow: /customgroupicons/ Disallow: /images/ Disallow: /install/ Disallow: /modcp/ Disallow: /signaturepics/ Disallow: /ajax.php Disallow: /attachment.php Disallow: /calendar.php Disallow: /cron.php Disallow: /editpost.php Disallow: /global.php Disallow: /image.php Disallow: /inlinemod.php Disallow: /joinrequests.php Disallow: /login.php Disallow: /faq.php Disallow: /memberlist.php Disallow: /misc.php Disallow: /moderator.php Disallow: /newattachment.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /poll.php Disallow: /post.php Disallow: /postings.php Disallow: /printthread.php Disallow: /private.php Disallow: /profile.php Disallow: /register.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendmessage.php Disallow: /showgroups.php Disallow: /showpost.php Disallow: /subscription.php Disallow: /threadrate.php Disallow: /usercp.php Disallow: /usernote.php Sizde uyeleriniz index almasın istiyor iseniz aşagıdaki kodu en alt satırınıza ekleyin

Disallow: /member.php
Disallow: /member.php/

Eger bunların dışında eklemek istediğini dosyalar var aşağıdaki şekilde ekleyebilirsiniz .

Disallow: /ornek.php
Disallow: /ornek_dosya

Klasor icindekileri yani alt klasorleri de gizlemek isterseniz

Disallow: /ornek_dosya/ [h=4]Ekli dosyalar[/h]