XenForo icin orne Robots.txt Dosyası ve bilinmesi gerekenler
Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gosteren ve sitenizin kok dizininde bulunan bir dosyadır. Dosya, kucuk bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Bakınız Google makalesi


Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası acabilir,Eleyebilirsiniz.

Robot.txt Komut anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tum borları kapsaması anlamına gelir.
Crawl-delay: Verilerin cekilmesi icin zaman aralığı belirler.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri cekim komutu verilmiştir.
Request-rate: Verilerin cekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri ceker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri ceker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin cekmek icin izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin cekilmesine izin verilmiştir.
Allow: /dosya/ #Adı gecen dosya ve icerisindeki tum verilerin cekilmesine izin verilmiştir.

Disallow: Verilerin cekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri cekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve icerisindeki tum dosya,sayfalardan veri cekilmesi engellenmiştir.


XenForo icin Robot.txt Dosyası nasıl olmalıdır ?

Kod: # robots.txt https://www.mehmetozcan.org/forum # Mehmet Ozcan Forum User-agent: Mediapartners-Google* Disallow: User-agent: * Disallow: /forum/find-new/ Disallow: /forum/account/ Disallow: /forum/attachments/ Disallow: /forum/goto/ Disallow: /forum/register/ Disallow: /forum/posts/ Disallow: /forum/login/ Disallow: /forum/admin.php Disallow: /forum/ajax/ Disallow: /forum/misc/contact/ Disallow: /forum/data/ Disallow: /forum/conversations/ Disallow: /forum/events/birthdays/ Disallow: /forum/events/monthly/ Disallow: /forum/events/weekly/ Disallow: /forum/find-new/ Disallow: /forum/help/ Disallow: /forum/internal_data/ Disallow: /forum/js/ Disallow: /forum/library/ Disallow: /forum/search/ Disallow: /forum/styles/ Disallow: /forum/login/ Disallow: /forum/lost-password/ Disallow: /forum/online/ Allow: / Sitemap: https://www.mehmetozcan.org/forum/sitemap.php