Merhaba
==============================
Robot dosyası amacı kısaca aram motorlarını bazı dosyalardan uzak tutmaktır örneğin belirtilen dosyayı arama motorları indexlemezler . vbulletin içinde index almaması gereken bazı dosyalar yada phpler olacağını unutmayın .
Örnek verecek olur isek
PHP- Kodu:
#ALL BOTS
User-agent: *
Disallow: *.js
Disallow: /admincp/
Disallow: /chat/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /customgroupicons/ 
Yukarıda belirtline kodlar derki bütün arama motoları bu dosyaları ve onların içinde bulunan alt dosyalarını indexlenmeyecektir
Peki neden indexlenmesin ? Çok basit google sizin admincp indexlese ( Gerçi mümkün değil ama ) olsa sizce bunun size ne gibi zararları olur ? Yada images içinde buluna img çekse ve arama sorgularında bunu arayan kişiye gösterse bu arama sayısıda milyonları bulsa düşünün artık bakalım sizden neler çekiliyor bunlar sizlere anlatabilecegim en basit ve en akılca kalıcı olan uyarılarıdır tabiki bundan fazlası da var . Alta verdiğim Robots kendi kullandıgım Robots Kodlarıdır . Ve Ben üyelerin index alması taraftarı değilim bu sebep ile üyeleri kapattım sizler de istediğini gibi düzenleyebilirsiniz .
PHP- Kodu:
# robots.txt
# http://vbulletin.web.tr 
#

Sitemap: http://vbulletin.web.tr/xmlsitemap.php

User-agent: Baiduspider 
Disallow: /

User-agent: BoardTracker
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: Slurp
Crawl-delay: 2

User-agent: msnbot
Crawl-delay: 2

#ALL BOTS
User-agent: *
Disallow: *.js
Disallow: /admincp/
Disallow: /chat/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /customgroupicons/
Disallow: /images/
Disallow: /install/
Disallow: /modcp/
Disallow: /signaturepics/
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /faq.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /post.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php 
Sizde üyeleriniz index almasın istiyor iseniz aşagıdaki kodu en alt satırınıza ekleyin
PHP- Kodu:
Disallow: /member.php
Disallow: /member.php/ 
Eger bunların dışında eklemek istediğini dosyalar var aşağıdaki şekilde ekleyebilirsiniz .

PHP- Kodu:
Disallow: /örnek.php
Disallow: /örnek_dosya 
Klasör içindekileri yani alt klasörleri de gizlemek isterseniz

PHP- Kodu:
Disallow: /örnek_dosya/ 

Sonuç:
Eklenti 842