Genel olarak siteler için robots.txt dosyası olmazsa olmaz dosyadır. Bu dosya, temel olarak web sitenizdeki kısımlardan arama motorlarında görünmesini istemediğiniz yerleri belirten dosyadır. Yeri ise kök dizinlerindedir. Yani bu dosya ile dilediğimiz yerleri gizler veya dilediğimiz yerlerin görünmesine imkan veririz. Bu sayede kullanıcılar için daha kullanışlı ve özel sayfalar sunmak …