Arama motorları botları, web sitelerinin sayfalarını tararlar ve arşivlerler. Ancak zaman zaman web sitemize ait olan her sayfanın arama motoru botları tarafından bulunmasını istemeyiz. İşte tam da burada Robots.txt metin dosyaları devreye girer. Arama motorlarına kapatmak istediğiniz her sayfa ya da uzantıyı Robots.txt dosyaları ile gizleyebiliriz. Ancak bu dosya oluşturulurken dikkat edilmesi de gerekir. Çünkü yanlış oluşturulan bir Robots.txt dosyası sitenizin önemli sayfalarını, arama motorları tarafından bulunmasını istediğiniz sayfaları da erişime kapatabilir. SEO açısından önemli olan bu duruma nasıl dikkat edilir, bu dosya nasıl oluşturulur gelin hep birlikte inceleyelim;
Robots.txt Nedir?
Robots.txt metin dosyası, herhangi bir arama motoru için sitenizin hangi sayfa ya da bölümlerinin dizine ekleneceğini ya da eklenemeyeceğini söyleyen basit bir komut dosyasıdır. Arama motorları tarafından görevlendirilen, örümcek adı da verilen botlar sitenize geldiğinde ilk önce bu dosyayı tarar ve bu dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler ya da eklemez. Eğer Robots.txt dosyanız doğru bir şekilde hazırlandıysa, arama motoru robotları yazdığınız bu komutlara uygun bir şekilde tarama işlemlerini gerçekleştirecektir.
Gördüğünüz üzere Robots.txt dosyası her web sitesinde mutlaka olması gereken bir dosyadır, tabii doğru hazırlanmış bir şekilde.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt komut dosyası belli standartlar çerçevesinde hazırlanmalı ve web sitenizin kök dizinine bu şekilde yüklenmelidir. Öncelikle web sitenizin kök dizininde robots.txt dosyanızın bulunması bir gerekliliktir ve dosya oluşturulurken bir alt klasörde ya da farklı sayfalarda yer almaması gerekir.
Örnek bir doğru kullanım göstermemiz gerekirse; https://www.ornek.com/robots.txt şeklinde olabileceğiniz söyleyebiliriz. Ancak https://www.ornek.com/main/robots.txt kullanımı robots.txt için yanlış bir kullanım olacaktır.
Robots.txt dosyası düz metinden oluşmalıdır ve UTF-8 karakter kodlamaları kullanılmalıdır. Dosya sürekli güncellenebilir olduğu için istediğiniz zaman üzerinde çalışabileceğiniz bir şekilde tutmalı, gizlememeli ya da kaldırmamalısınız.
Robots.txt Komutları
Robots.txt içerisinde kullanılan bazı standartlaşmış komutlar bulunmaktadır. Bunlar temel olarak şu şekilde sıralanabilir;
Grup Komutları; Arama motorları engelleme ya da izin verme, dizin engelleme/izin verme, sayfa engelleme/izin verme ve tarama geciktirmesi
Grup Dışı Komutlar; Site haritası belirtme
Robots.txt Dosyasında Kullanılabilen Özel Komutlar
Grup Komutları
Dosya içerisinde net ve kesin ifadelerden oluşması gereken grup komutlarında eğer bir yazım yanlışı yapılırsa bu komut dikkate alınmaz. Yine komutlar içerisinde büyük-küçük harf kullanımına, özel karakter ayrımlarına dikkat edilmesi gerekir. En çok kullanılan grup komutları şunlardır;
User-agent
Bu komut hangi arama motorunun web sitenizi taramasına izin verip vermeyeceğini belirtmesine yardımcı olur. Tüm tarayıcılara tarama izni vermek isterseniz eğer * işaretini kullanabilirsiniz. Ya da sadece bir tarayıcı için izin verecekseniz tarayıcı adını belirtebilirsiniz.
Dizin Engelleme / İzin verme
Disallow ya da Allow komutları kullanılarak sitedeki belli dizinlere erişim kaldırılabilir ya da izin verilebilir. Bu erişim izinleri sadece arama motorlarına yönelik olup kullanıcılar komut verilen dizine ulaşmaya devam edebileceklerdir.
Yukarıdaki komut kullanıldığında arama motorunuz https://www.ornek.com/tarama/ URL’sine sahip olan “tarama” dizinini taramayacak ve yine bu dizin içerisinde bulunan sayfaları dizine eklemeyecektir.
Sayfa Engelleme / İzin Verme
Aynı şekilde disallow ya da allow komutları kullanılarak belirli sayfalara erişim izninin verilmesi ya da verilmemesidir.
Yukarıdaki komut kullanıldığında, https://www.ornek.com/ozel-tarama.html URL’sine sahip olan sayfadaki içerik taranmayacak ve dizine eklenmeyecektir.
Allow komutu da disallow komutunun tam tersi olarak işlem yapar ve Disallow komutu kullanımını geçersiz kılar.
Yukarıdaki gibi Allow ve Disallow komutları birlikte kullanılırsa tarama dosyası içerisindeki demo.html sayfası hariç diğer dosyaların taramasını kapatmak anlamına gelecektir. Bu örnekten de anlaşılacağı üzere Google botları önce Allow sonrasında Disallow komutunu işleme alacaktır.
Tarama Geciktirme (Crawl-delay)
Bu komut sayesinde arama motoru botlarının tarama için harcayacağı zamanı sınırlandırmanız mümkün. Örneğin geç açılan bir web siteniz varsa ve arama motoru botlarının sayfanıza kötü puan vermesini istemiyorsanız açılış süresini buna göre ayarlayabilirsiniz.
Grup Dışı Komutlar
Grup dışı olarak geçen en önemli komut sitemap.xml komutudur. Bu komut, arama motoru botlarına önemli bilgiler verdiği için, sitenize gelen botların taradığı ilk yer olarak söylenebilir. Bu nedenle sitenizde sitemap.xml dosyası bulunmazsa bu bir dezavantaj yaratabilir. Kullanımı da oldukça basit olan bu komut için sitemap.xml dosyasının URL’sini doğru yazmanız yeterlidir.
Robots.txt Dosyasında Kullanılabilen Özel Komutlar
Robots.txt komut dosyasına ekleyeceğiniz özel ifadeler ile belli bir karakteri ya da URL uzantısını içeren sayfaları da istediğiniz arama motoru robotlarına kapatabilirsiniz.
Örneğin;
Son olarak söylemeliyiz ki; eğer web sitenizi yeni kuruyor ya da tasarımını değiştiriyorsanız mutlaka ilk kontrol etmeniz gereken şey robots.txt dosyasıdır. Hali hazırda bir dosyanız yoksa da oluşturmalı ve web sitenize eklemelisiniz. Özellikle SEO açısından kullanılmaması büyük dezavantaj olan Robots.txt dosyası yoksa web sitenizde, arama motoru botları noindex etiketi olmayan sayfaları tarayacaklardır. Taranmasını istemediğiniz her sayfa ve klasöre noindex etiketini tek tek yerleştirmek yerine Robots.txt dosyası oluşturarak zaman kazanabilir ve sitenizin istediğiniz arama motoru dizinine istediğiniz şekilde eklenmesini sağlayabilirsiniz.
Siteniz için SEO Analizi yapma konusunda fikir sahibi olmak için buraya tıklayarak yazımızı inceleyebilirsiniz.
