İlk Once Belirtmek İsterim Alıntıdır.
Aşşağıdaki Robots.txt iceriğini olduğu gibi robots.txt icersine kopyalayın.
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Calışmayabilir!

peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim

SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.UR L.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Gorunumunu Cekmeye calışırlar ve fake'ini yapmaya calışırlar veya aynı yazılımı taklit etmeye calışırlar bunun onune %85'e Varan onune geciyorsunuz. bu yazılımları kullanıp sitenizin goruntusunu golgesini cekmeye calıştığında işe yaramayacaktır. hic birşey cekemeyecektir.

PHP: # Cryptr.Org Robots.txt Controller (Değiştirirseniz Gorevini Yitirir) # Crawlerlar Devre Dışı User-agent: UbiCrawler Disallow: / User-agent: DOC Disallow: / User-agent: Zao Disallow: / # Website goruntusunu kopyalayan user-agentler devre dışı User-agent: sitecheck.internetseer.com Disallow: / User-agent: Zealbot Disallow: / User-agent: MSIECrawler Disallow: / User-agent: SiteSnagger Disallow: / User-agent: WebStripper Disallow: / User-agent: WebCopier Disallow: / User-agent: Fetch Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: WebZIP Disallow: / User-agent: linko Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: Xenu Disallow: / User-agent: larbin Disallow: / User-agent: libwww Disallow: / User-agent: ZyBORG Disallow: / User-agent: Download Ninja Disallow: / # agent isteklerde fast gecenler User-agent: fast Disallow: / #website kopyalayıcılar indiriciler ssh modu devre dışı User-agent: wget Disallow: / # # The 'grub' distributed client has been *very* poorly behaved. # User-agent: grub-client Disallow: / # # robots.txt yi takip engelle # User-agent: k2spider Disallow: / # # hit olcerler site değeri olcerler devre dışı # http://www.nameprotect.com/botinfo.html User-agent: NPBot Disallow: / # public sayfaları indexof sayfaları ceken bot devre dışı # http://www.webreaper.net/ User-agent: WebReaper Disallow: / User-Agent: * Disallow: /captcha.php Disallow: /editpost.php Disallow: /misc.php Disallow: /modcp.php Disallow: /moderation.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /printthread.php Disallow: /private.php Disallow: /ratethread.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendthread.php Disallow: /task.php Disallow: /usercp.php Disallow: /usercp2.php Disallow: /calendar.php Allow: / sitemap: http://siteadresi.com/sitemap.xml