robots.txt dosyası, bir web sitesinin nasıl taranacağına ve nasıl dizine ekleneceğine ilişkin talimatlar içerir.
Artık web üzerinde çok fazla web sitesi var, bu nedenle Google'ın web sitelerini tararken belirli kriterleri ve sınırları var. Bu sınır, tarayıcılarının bir web sitesinde geçireceği süredir. Google, web sitenizin kullanıcı deneyimine göre tasarlanmadığını gördüğünde daha yavaş taramaya başlar. Bu, web sitenizdeki gönderilerin daha sonra arama motoru dizinine ekleneceği anlamına gelir. Bu tarayıcı kısıtlamasını kaldırmak için web sitenizde bir Site Haritası (sitemap.xml) ve bir robots.txt dosyanızın olması gerekir. Bu dosyalar, web sitenize gelen tarayıcılara, önemli oldukları ve hızlı bir şekilde dizine eklenmesi gerektiği hakkında bilgi sağlar, böylece tarama sürecini hızlandırır.
Robots.txt dosyası, Robotlar Hariç Tutma Protokolü olarak da bilinir. Dosyanın dikkatli bir şekilde oluşturulması gerekir, yanlış yazılmış veya eklenen bir satır veya komut web sitenizdeki sayfalara zarar verebilir.
Robots.txt Generator ile Robots.txt dosyası profesyonelce hızlı ve kolay bir şekilde oluşturulur. Bu web sitesi aracını kullanarak, web sitenizin hangi bölümünün dizine eklenmesini istediğinizi ve hangi bölümünün dizine eklenmesini istemediğinizi belirtebilirsiniz.
Robots.txt dosyasını hazırlarken yukarıdaki seçenekleri kullanarak web sitenize hangi botların girebileceği bilgisini giriniz. Herhangi bir bilgi girmezseniz, Robots.txt Generator otomatik olarak dosyadaki tüm robotlara erişim sağlar.
İkinci aşamada 15-20 saniye aralığında bir geciktirme komutu seçin. Web siteniz için bir site haritanız varsa, ilgili satıra dosya adresini yazın, aksi halde boş bırakın ve bir sonraki adıma geçin. Ardından, web sitenizi hangi botlarla taramak istediğinizi kontrol edin. Ve son olarak, isterseniz dizin kısıtlamasını belirtin. Eğik çizgi (/) koyduğunuz dizin kısıtlı kabul edilir.
Robots.txt Oluştur düğmesine tıkladığınızda Robots.txt Generator, isteklerinize göre bir robots.txt dosyası oluşturur. Bu dosyayı ve içerdiği kodları sitenizin kök dizinine ekleyebilirsiniz. Robots.txt dosyasını kaydetmek istiyorsanız, dosyanın nasıl hazırlanması gerektiğini belirttikten sonra Oluştur ve Robot.txt Olarak Kaydet düğmesine tıklayın.
