WordPress Robots txt Oluşturma

Genel olarak siteler için robots.txt dosyası olmazsa olmaz dosyadır. Bu dosya, temel olarak web sitenizdeki kısımlardan arama motorlarında görünmesini istemediğiniz yerleri belirten dosyadır. Yeri ise kök dizinlerindedir. Yani bu dosya ile dilediğimiz yerleri gizler veya dilediğimiz yerlerin görünmesine imkan veririz. Bu sayede kullanıcılar için daha kullanışlı ve özel sayfalar sunmak mümkün. Ben genel anlamda wordpress yazılımı üzerine çalıştığım için bu yazımda size wordpress robots txt oluşturma konusu hakkında bilgi vereceğim.

WordPress Robots txt Oluşturma Yöntemi

Robots txt dosyası, SEO açısından oldukça önemlidir. Neyse ki wordpress alt yapısı kullanan siteler için robots.txt dosyası oluşturma alternatifleri mevcut. Bu dosya içerisinde gösterilmesine izin verdiğiniz yerler Google, Yandex, Yahoo vb. arama motorları tarafından dizinlenir. Bu sayede bu sayfalara ziyaretçiler gönderilir. Eğer sizin ziyaretçiler tarafından görülmesini istemediğiniz yerler varsa ve SEO konusunu önemsemiyorsanız yine de kesinlikle kullanmalısınız.

Robots.txt dosyası oluştururken oldukça dikkat edilmelidir. Yapılan küçük bir yanlışlık SEO açısından sitenizi kötü düzeylere çekecektir.  Her ne kadar wordpress alt yapılı siteler için anlatım yapsamda bu dosya tüm web sitelerinde bulunması gerekmektedir.

Genel olarak robots txt dosyamızın içerisinde iki adet değişken kısım mevcuttur. Bunlar nedir dersek,

User-agent: Bu kısımda Google botunun ismi yazılacak

Disallow: Bu kısımda ise bot için izin verilen komular yer alacak. Unutmadan söyleyeyim ki bu anlattığım şekilde wordpress alt yapısı kullanmasanız bile kendinize özel robots txt dosyası oluşturabilirsiniz.

Örneklerle açıklamaya devam edeyim. Mesela şu örneği inceleyelim.

User-agent: *

Allow: /

Yukarıda değişkenlerimize baktığımızda ilk satırda bulunan user-agent kısmına bot ismi gelmeliydi değil mi? Evet doğru ancak ” * ” bu işaretin anlamı ise tüm botlara sınırsız izin verilmiş demektir. Farklı şekilde oluşturmak mümkündür. Mesela şimdi de tam tersi bir oluşum yapalım.

User-agent: *

Disallow: /

Bu kısımda ise ilk kodun tersi anlamında yani sitede bulunan ne varsa indexlenmesin anlamındadır.

Kodlama bilginiz azda olsa varsa bu kodlardan yola çıkarak sitenizdeki dosyaların indexlenme durumlarına izin verebilir veya engelleyebilirsiniz. Ancak ilk başta da belirttiğim gibi burada yapacağınız ufak bir yanlışlık size çok kötü şekilde dönüş yapabilir. Bu nedenle işi bilenden yardım almanızda fayda var. Şimdi kodlarıyla beraber WordPress Robots txt oluşturma nasıl yapılır inceleyelim.

WordPress İçin Robots.txt Kodu

Tabi ki wordpress kullanıcısı iseniz işiniz vereceğim kodlar ile daha kolay hale gelecektir. Hazırladığım kodları kendi sitenize uygun şekilde düzenleyerek kullanırsanız sorunsuz şekilde robots.txt dosyanızı hazırlamış olursunuz. Gelelim işinize yarayacak kod dizinine.

sitemap: http://www.sizinsiteniz.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile

Yukarıda görüldüğü gibi hazırlamış olduğum kod üzerindeki sitenizin adı kısmını değiştirin ve robots txt dosyasına yapıştırın. Burada neye ihtiyacımız varmış bir bakalım.

İlk kısımda bir site haritasına ihtiyacınız var. WordPress olsun yada olmasın site haritası en az robots txt dosyası kadar SEO açısından önemlidir. Hem bu site haritasını Google analiz gibi sistemlerde kullanarak sitenizin durumunu takip edebilir ve gerekli iyileştirmeleri yapabilirsiniz. Site haritası oluşturmak wordpress kullanıcıları için oldukça kolaydır. Daha önce yazmış olduğum “Blog Açtıktan Sonra Yapılması Gerekenler” konulu yazımda SEO eklentisi hakkında bilgiler vermiştim. Bu yazımda belittiğim SEO By Yoast eklentisi ile site haritanız otomatik oluşturulur. Detaylı bilgi için yazıma buradan ulaşabilirsiniz. Hazır bir eklenti ile wordpress yazılımdan her şeyi yapmanın mümkün olduğunu her defasında söyledim. Yine tekrarlıyorum. Her açıdan kesinlikle wordpress kullanmanız karınıza olacaktır.

Bu içeriğimde sizlere WordPress Robots txt oluşturma yöntemi hakkında bilgiler aktardım. İçeriğimi beğendiyseniz sosyal medya hesaplarınız üzerinden paylaşabilirsiniz. Bununla beraber güncel içeriklerimden haberdar olmak için Facebook, Instagram ve Twitter hesaplarım üzerinden beni takip edebilirsiniz.