Google ve diğer arama motorları icin robots dosyası kullanıyorum. Bazen işe yaramıyor ve arama motoruna kayıtlı olmaması gereken sayfalar indexleniyor.

Bunu onlemek icin alternatif bir cozum var mı? HTML takısı olarak var sanırsam ama tam olarak nasıl yapılıyor ve etkisi nedir?

Lutfen yardım edin!