Robots.txt dosyası oncelikle web sitenizin hangi bolumlerinin botlar tarafından taranması gerektiğini belirtmek icin kullanılır. Web sitenizle bir robots.txt dosyası kullanmak bir web standardıdır. Bu sebeple sunucuza bir robots.txt dosyası eklemelisiniz.

Kotu botları ve web site kopyalama araclarının botlarını engellemek isterseniz, sizin icin hazırladığımız robots.txt dosyasını kullanabilirsiniz. İndirmek icin aşağıdaki bağlantıyı ziyaret edin.