robots.txt Oluşturucu
Arama motoru botlarının sitenizde hangi yolları tarayabileceğini belirleyen robots.txt dosyanızı oluşturun.
Hata bulursanız veya geri bildirim iletmek isterseniz: buradan bize ulaşın.
robots.txt ne işe yarar?
robots.txt, sitenizin kök dizinine (ör. siteniz.com/robots.txt) koyduğunuz, arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen basit bir metin dosyasıdır. Yönetim panelleri, API uç noktaları gibi indekslenmesini istemediğiniz alanları buradan engelleyebilirsiniz.
robots.txt bir sayfayı Google'dan tamamen gizler mi?
Hayır, sadece taranmasını (crawl) engeller — sayfa başka bir yerden bağlantı alıyorsa yine de dizine eklenebilir. Bir sayfayı kesin olarak gizlemek için noindex meta etiketi kullanılmalıdır.
Oluşturduğum dosyayı nereye yüklemeliyim?
Sitenizin en üst (kök) dizinine, tam olarak robots.txt adıyla yüklemelisiniz — bir alt klasöre konursa arama motorları onu bulamaz.