Bildiğiniz uzere robots.xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır.Siz kendi gereksinimlerinize gore ekleme veya cıkarmalar yapabilirsiniz

Kod: User-agent: Yandex Crawl-delay: 2 User-agent: Mediapartners-Google* Disallow: User-agent: Baiduspider Disallow: / User-agent: Baiduspider-video Disallow: / User-agent: Baiduspider-image Disallow: / User-agent: * Disallow: /admin.php Disallow: /account/ Disallow: /attachments/ Disallow: /conversations/ Disallow: /find-new/ Disallow: /goto/ Disallow: /login/ Disallow: /register/ Disallow: /search/ Allow: / Sitemap: http://www.siteadresi.com/sitemap.php