Standart bir Robots.txt dosyasında admin panel bilgileri dışında tüm siteye botların erişimine izin verilir. Ancak sitenin bazı bölümlerine saldırıların olması, buralara da Robots.txt dosyası yardımı ile botların gelmesini engellemeyi gerektirebilir. Robots.txt dosyası oluşturmadan önce sizin de işinize yarayacağını umduğum Robots.txt kodlarını sizlerle paylaşmak istiyorum. Robots.txt kodları kaynakta da gösterildiği gibi Google tarafından tavsiye edilen kodlardır.

Robots.txt...

Robots.txt dosyası nasıl oluşturulur?