Robots.txt oluşturucu generatör adı ile anılan bir araçtır. Webmasterlar için oldukça büyük bir fayda sağladığı ve internet sitenizi arama motoruna uyumlu hale getirmenizde önemli bir etken olduğu söylenilebilir. SEO araçlarımız içerisinde yer alan robots.txt oluşturucusu sayesinde uzun bir vakit harcayarak oluşturacağınız dosyayı pratik bir biçimde kolayca oluşturabilir ve web sitenize yükleyebilirsiniz.
Robots.txt dosyasının ne olduğundan bahsetmek gerekirse:
Robot.txt (Robot Engelleme Standartı) temel olarak arama motoru botlarının web siteleriniz içerisinde bulunan bazı kısımları denetlememesini sağlayabilirsiniz. Yani web siteniz içerisine yerleştireceğiniz robots.txt dosyası sayesinde arama motoru botlarını web sitenizi taramasını kısıtlandırmanız mümkün olabilir.
Arama motoru botları sitenizi taramaya başlamadan önce robots.txt dosyasını gözden geçirir ve sizin önerdiğiniz şekilde tarama gerçekleştirir.
http://example.com/nogooglebot/ ile başlayan URL’ler Google botlarına kısıtlanmış olan URL metinleridir ve taranmasına izin verilmeyecek web sitesi kısımları için kullanılır. Robots.txt dosyası oluşturmadığınız takdirde web sitenizin taranması Google botları tarafından her bağlantı için gerçekleştirilir.
Arama motoru botları tarafından oluşturmuş olduğunuz robots.txt dosyalarına uyma yükümlülüğü yoktur. Yani sizin oluşturmuş olduğunuz bu dosyalar gizlemiş olduğunuz bu bilgilerin tamamen korunacağı ve arama motoru botları tarafından taranmayacağı anlamına gelmiyor. Arama motoru botları için oluşturmuş olduğunuz robots.txt dosyalarının temel olarak bir öneri olduğunu belirtmek mümkün olabilir. Gizliliğinizi koruyucu bir unsur olmadığını söyleyebiliriz.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası oluştururken, robots.txt oluşturucularından yardım alabilirsiniz. Bu robots.txt dosyası oluşturmanızı sağlayacak hızlı ve kolay bir yöntemdir. Web siteleri içerisinde bulunan ilgili web sayfaları ile robots.txt dosyası oluşturabilir ve web sitenize yükleyebilirsiniz. Diğer bir yöntem ise web siteniz için yetkili olan kişi tarafından robots.txt dosyanızın oluşturulması sağlanabilir.
Kolay, pratik ve hızlı bir yöntem olması nedeni ile generatörleri tercih edebilirsiniz.
Robots.txt dosyası bir komut doyası olarak hazırlanarak web sitenizin kök dizinine bir metin olarak eklenir. Robots.txt dosyasını web sitenizin başka kısımlarında yer almamalıdır diyebiliriz. Web sitenizin taranması gerçekleştirilmeden önce Google botlarının ilk olarak inceleyeceği alan bu dosyalardır. Robots.txt dosyası sürekli olarak güncellenebilir ve değiştirilebilir olarak hazırlanan dosya çeşitleridir.
Robots.txt oluşturucu sayesinde:
Hangi arama motoru botlarının siteniz içerisindeki verilere ulaşabileceğini tercih edebilirsiniz.
Bu seçim sayesinde siteniz içerisindeki verilerin erişilebilirliğini denetleyecek arama motoru botlarını tercih edersiniz. ‘’Varsayılan’’ olarak seçim gerçekleştirdiğiniz takdirde arama motoru botlarının verilerinizi taramasına izin verilecektir.
Gecikme komutu seçimi yapın: Tarama gecikmesi sayesinde web sitenizin tarama gecikmesini ayarlamanız mümkün olabilir. Bu seçenek sayesinde 5 saniye ile 120 saniye arasında olarak gecikmeli tarama seçeneğini tercih edebilirsiniz. Bu seçenek üzerinden ‘’varsayılan’’ seçeneğini tercih ettiğinizde gecikme olmayacak şekilde web sitenizin taranması gerçekleştirilir.
Site haritanız mevcut ise site haritanızı mevcut olan kısma ekleyebilirsiniz. Eğer site haritanız bulunmuyor ise bu kısmı atlayabilir veya ücretsiz SEO araçlarımız içerisinde bulunan site haritası oluşturucusu kısmını kullanarak site haritanızı oluşturabilirsiniz.
Dizinleri kısıtlama işlemi: Bu kısım içerisinde yer alan kısmı uygun bir şekilde doldurarak
Siteniz için robots.txt dosyanızı kolaylıkla oluşturup web sitenizin kök dizinine ekleyebilirsiniz.