Arama motoru botlarının (orumceklerin) sitenizin iceriğini sağlıklı bir şekilde indexlemesi icin gereken Robots.txt dosyasının analizini yapmak artık mumkun. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yuzden siteniz icin oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz.




Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direk olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (orumceklerinin) standartlarında analiz etmesi icin manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.
Ve aşağıda Friendfeed.com 'un robots.txt dosyası analizi


Friendfeed'in Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gozukuyor. Başarılı.
Robots.txt analiz servisine BURADAN ulaşabilirsiniz.


KAYNAK: Seohocasi.com
YAZAN: Can Talaylı