Arkadaşlar merhabalar,
Bugün sitemin dizinindeki dosyalara kontrol amaçlı baktığımda var olan robots.txt dosyası yoktu ve eski dosyadaki işlemlerimi hatırlayamıyorum. Bir site için en iyi robots.txt dosyası nasıl olmalıdır? Ve neden bu dosyam silinmiş olabilir?

Yeni bir dosya oluşturdum ve şunu ekledim:
Kod:
User-agent: *
Disallow: /wp-admin
Sitemap: https://********.com/sitemap.xml
Sitemap: https://********.com/sitemap-1.xml
Allow: ??? , Disallow: ???? bu alana neler gelir nasıl olmalıdır?


daha iyi bir robots.txt dosyası için ne yapılabilir?