robots.txt dosyanizi vbseo ve vbulletin e gore en uygun sekilde nasil ayarliyabileceginizi burada anlatacağım

Oncelikle kisaca robots.txt dosyasi ne is yapar? bundan bahsedeyim.

Bu dosyanin tek amaci, arama motoru orumcekleri sitenize geldiginde, sitenizi indexlesin mi? indexlemesin mi? veya nereleri indexlemesin bunu belirtiyoruz.

ornegin sitenizdeki admin klasorunun indekslenmesine hicbir gerek yok. veya yoneticilerinize ozel olan bir bolumun. Belkide yemek tarifi sitenizde dikis nakistan bahsediyorsunuz ve googlede bunlarin bulunmasini degil, sadece yemek alaninda bulunmak istiyorsunuz, iste bu isi robots.txt den yapacaksiniz.

Alttaki liste basit olarak standart vbulletin ve vbseo kullanan sitelerde gorunmemesi gereken yerleri iceriyor.

Forum ana klasorune atmaniz kafidir.
Kod:
#ALL BOTS User-agent: * Disallow: /admincp/ Disallow: /ajax.php Disallow: /clientscript/ Disallow: /cpstyles/ Disallow: /images/ Disallow: /includes/ Disallow: /install/ Disallow: /modcp/ Disallow: /subscriptions/ Disallow: /customavatars/ Disallow: /customprofilepics/ Disallow: /announcement.php Disallow: /calendar.php Disallow: /cron.php Disallow: /editpost.php Disallow: /faq.php Disallow: /frm_attach Disallow: /image.php Disallow: /inlinemod.php Disallow: /joinrequests.php Disallow: /login.php Disallow: /memberlist.php Disallow: /misc.php Disallow: /moderator.php Disallow: /newattachment.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /payment_gateway.php Disallow: /payments.php Disallow: /poll.php Disallow: /wtf.php Disallow: /postings.php Disallow: /private.php Disallow: /profile.php Disallow: /register.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendmessage.php Disallow: /subscription.php Disallow: /usercp.php Disallow: /threadrate.php Disallow: /usernote.php