Robots.txt Nedir?

Robots.txt en basit anlamda web sunucusuna yerleştirilen bir komut dosyasıdır. SEO calışmaları acısından onemli olan robots.txt dosyası sayesinde arama motoru botlarına sitenizde hangi bolumlerin dizine eklenip, hangi bolumlerin eklenmeyeceğinin bilgisi verilmektedir. Arama motoru botları web siteleri ziyaret ettiğinde ilk olarak robots.txt dosyasını ziyaret etmektedir. Boylece dosyadaki komutlara gore taranacak dizinleri tespit ederek, sitenin izin verilen bolumlerini arama ağı dizinlerine eklerler. Bazı durumlarda web sitesinin onemli bilgiler iceren kimi bolumleri arama motoru botlarının erişimine kapatılmak istenmektedir. Boyle durumlarda robots.txt kullanımından faydalanılmaktadır. Ancak robots.txt dosyası oluştururken cok dikkatli olunmalıdır. Cunku yanlış oluşturulacak bir robots.txt dosyası sonrasında sitenin gerekli olan bolumleri arama motorlarının erişimine kapatılabilir. Bu da SEO acısından sitenize zarar verebilir.




Robots.txt komut dosyası sayesinde arama motoru botlarının sitenizdeki hangi alanlara erişebileceklerini belirleyebildiğiniz gibi hangi arama motoru botlarının dosyalarınıza erişebileceğini de belirleyebilirsiniz. Yani erişime actığınız bir site alanına bazı arama motoru botlarının ulaşmasını da robots.txt sayesinde engelleyebilirsiniz. Robots.txt dosyası her web sitesinde olması gereken ve doğru hazırlanmış olması gereken bir dosyadır. Peki, SEO icin en doğru robots.txt yonetimi nasıl olmalıdır? Robots.txt dosyası neden kullanılmalıdır? Robots.txt komut dosyası hakkında bilinmesi gereken onemli detaylar nelerdir?

Neden Robots.txt Dosyası Kullanılmalıdır?

Robots.txt dosyasının genel kullanım amacı arama motoru botlarının sitenizde erişebileceği alanların belirlenmesine yoneliktir. Ancak robots.txt dosyası sadece bu amacla kullanılmamaktadır. Orneğin; siteniz yapım aşamasındaysa, genel bir bakım soz konusuysa veya site tasarımında değişiklik yapıyorsanız boyle durumlarda da robots.txt komutları kullanılabilmektedir. Eğer ki siteniz yeni bir web sitesiyse ve henuz tasarım calışmalarınız bitmediyse boyle bir durumda arama motoru botlarının sitenize erişimini engelleme adına bu dosyadan faydalanabilirsiniz. Sonrasında site uzerindeki calışmalar bittiğinde ise robots.txt dosyasını duzenleyerek sitenizi ve ilgili alanları arama motoru botlarının erişimine acabilirsiniz.

Robots.txt kullanılmak istenmesinin bir başka nedeni de ucretli bağlantıların kullanılmak istenmesidir. Ayrıca arama motorları robotları icin ozel talimatlara ihtiyac duyan reklamların sitede kullanılabilmesi icinde robots.txt dosya komutu kullanılmaktadır. Henuz site icin SEO calışmalarına başlanmadıysa veya site icerisinde SEO acısından eksiklikler varsa bu gibi durumlarda da arama motoru botlarının siteyi indekslemesinin engellemesi icin robots.txt sık olarak kullanılmaktadır.

Robots.txt Dosya Komutları Nelerdir?

Robots.txs dosya komutu ile site sahipleri temelde dort farklı komut dosyasına sahip olmaktadır. Dosya komutları her zaman kesin ve net olarak oluşturulmalıdır. Yazım yanlışı yapılmadığından emin olunmalıdır. Komut dosyalarında kucuk, buyuk harf ayrımı yapılmamaktadır. Ancak komut dosyasında belirtilmiş olan dizin ya da URL’lerde buyuk, kucuk harf ayrımı veya ozel karakter ayrımı yapılmaktadır.

User-agent Robots.txt Dosyası Kullanımı

User-agent dosya komutu kullanılarak arama motoru botlarının sitenizi taramasına izin verebilir ya da taramalarını engelleyebilirsiniz. Tum arama motoru botlarının sitenizi taramasına izin vermek icin komut satırını aşağıdaki gibi kullanabilirsiniz;

User-agent: *

Arama motoru botlarının sitenizi taramasını engellemek icin ise robots.txt komutunu aşağıdaki gibi kullanmanız gerekmektedir;

user-agent: *
disallow: /

Dizin Engelleme veya Dizin İzin Verme Robots.txt Dosyası Kullanımı

Robots.txt komut dosyası ile sitenizdeki belirli dizinlerin erişimini arama motoru botlarına kapatabilir veya erişmelerine izin verebilirsiniz. Bunun icin allow veya disallow komutunu kullanmanız gerekmektedir. Disallow olarak kullanım gercekleştirirseniz bu komut dosyasındaki kısıtlama sadece arama motoru orumceklerine ozel olmaktadır. Yani herhangi bir dizinin erişimini arama motoru botlarına engellemeniz, ilgili dizine kullanıcıların erişimini engellememektedir. Herhangi bir dizini arama motoru botlarına karşı sınırlandırmak icin aşağıdaki komutu kullanabilirsiniz;

user-agent: *
disallow: /ornek/

Bu komut satırını sitenize eklemeniz durumunda arama motoru orumcekleri sitenizdeki
http://www.orneksite.com/ornek/URL’sine sahip olan “ornek” dizinini taramayacaktır. Ayrıca bu dizin icerisinde yer almakta olan sayfalarda dizine eklenmeyecektir.




Sayfa Engelleme veya Sayfa İzin Verme Robots.txt Dosya Kullanımı

Robots.txt komut kullanımında dilerseniz sitenizdeki belirli sayfalara erişim kısıtlaması getirebilir ya da istediğiniz sayfaların erişimine izin verebilirsiniz. Bunun izin vermek icin allow erişim kısıtlamak icin ise disallow komut satırını kullanmanız gerekmektedir. Dizin erişimi engelleme de olduğu gibi sayfa engelleme de yapılacak kısıtlama sadece arama motoru botlarına ozgudur. Yani sitenize gelen kullanıcılar ilgili sayfalara erişebilecektir. Aşağıdaki komut satırını kullanarak sayfa erişim kısıtlaması yapabilirsiniz;

user-agent: *
disallow: /ornek-calismalar.html/

Bu robots.txt komut satırını kullanarak
http://www.orneksite.com/ornek-calismalar.html/adresinde yer almakta olan iceriğin taranması ve dizine eklenmesi engellemiş olacaktır.

Tarama Gecikmesi Belirtme Robots.txt Dosya Kullanımı

Robots.txt dosyası icerisinde crawl-delay komut satırı kullanılarak arama motoru orumceklerinin sitede tarama yapması icin kullanabileceği sureyi belirleyebilirsiniz. Bu komutun kullanılmasının sebebi sayfa yuklenmesini geciktiren botların olumsuzluğunu engellemek, sıklıkla sunucu hatası yaşanan sitelerin veya yuksek ziyaretcisinden dolayı trafik yoğunluğu olan sitelerin hizmet verememe ihtimalini ortadan kaldırmaktır. Tarama gecikmesi belirtmek icin robots.txt dosyasında aşağıdaki gibi komut satırı oluşturabilirsiniz;

user-agent: yandexbot
crawl-delay: 3

Bu komut satırı ile sitenize gelen yandexbot arama motoru botlarının sitenizde sadece 3 dakika boyunca tarama yapmasını istediğinizi belirtirsiniz.

Ozel Robots.txt Dosya Komutları

Robots.txt dosyasında yukarıda belirtilen dosya komutlarının haricinde bazı ozel komutlarda kullanılabilmektedir. Belirli bir karakteri iceren ya da belirli bir URL’yi iceren sayfaları tamamıyla arama motoru orumcuklerinin erişimine kapatmanız mumkundur. Bazı ozel robots.txt dosya komutlarına ornek vermek gerekirse;

user-agent: *
Disallow: /*.swf$

Yukarıdaki ornekteki gibi dosya icerisinde bu komut satırını kullanırsanız sitenizde URL uzantısı .swf olan tum sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

User-agent: Googlebot
Disallow: /*.asp$

İcerisinde $ işareti olan yukarıdaki komut satırını kullanırsanız, sitenizdeki URL uzantısı .asp olan butun sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

Kaynak : https://www.stratejikseo.com/seo-icin-en-dogru-robots-txt-yonetimi/