XML site haritasında olduğu gibi bir robots.txt dosyası oluşturarak arama motoru tarayıcılarına izlemeleri gereken talimatları bildirebilirsiniz. En ust duzey dizinde bu dosyaya yer vererek arama motoru tarayıcılarını kontrol edebilirsiniz. Bu dosyanın icerisinde birbirinden farklı tarayıcılara yonelik komutlara yer verebilir ve aynı zamanda farklı arama motorları icin değişik protokoller oluşturabilirsiniz.