Robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi URL'lere erişebileceklerini bildirir.
Bu yöntem çoğunlukla isteklerin sitenizde yoğunluğa yol açmasını engellemek için kullanılır; web sayfalarını Google'ın dışında tutmak için kullanılabilecek bir mekanizma değildir.
Robots.txt dosyası e-ticaret siteleri için arama motorları ile haberleşmeye yarayan kritik bir dosyadır.
Zaman zaman bu dosyaya bazı içerikler girerek, arama motorlarına mesaj verilir, bu mesajlar arama motoru optimizasyonu için büyük önem taşıyabilir.
T-Soft altyapısı ile robots.txt dosyasında kendi istediğiniz değişiklikleri kimseye ihtiyaç duymadan anında düzenleyebilirsiniz.
Robots.txt dosyasına ulaşmak için "Ayarlar > Genel Ayarlar > Robots.txt İçeriği" ayarını açınız.
Ayar içeriğine tıklayarak tüm içeriği kopyalayarak not defteri veya notepad gibi uygulamalarda açınız.
Düzenleme yaptıktan sonra tüm içeriği kopyalayarak tekrar ayara ekleyiniz.
Eğer robots.txt dosyasının kullanımı hakkında bilgi sahibi değilseniz lütfen işlem yapmayınız. Yanlış bilgi girişi arama motorlarından sitenizin kaldırılmasına sebep olabilir.
Robots.txt hakkında detaylı google developer bilgisi için tıklayınız.