Robots.txt dosyası, web sitenizin kök dizininde yer alan ve arama motoru botlarına (örümceklerine) sitenizin hangi bölümlerine erişip erişemeyeceklerini bildiren bir metin dosyasıdır. Bu dosya, özellikle arama motoru optimizasyonu (SEO), sunucu kaynaklarını yönetme ve özel/veri içeren alanları gizleme gibi kritik amaçlar için kullanılır.
Örneğin:
/admin/ klasörü arama motorları tarafından taranmasın istenebilir.
/search gibi dinamik içerikler SEO'ya olumsuz etki yapabilir, bu nedenle engellenebilir.
T-Soft altyapısında barındırılan e-ticaret sitelerinde robots.txt dosyası sistem tarafından otomatik olarak oluşturulur. Ancak isteğe bağlı olarak belirli düzenlemeler yapılabilir.
📁 Örnek bir T-Soft robots.txt bağlantısı:
🔗 https://www.siteadi.com/robots.txt
Botları hedef almak için kullanılır.
Yukarıdaki örnek, tüm botlara hitap eder.
Belirtilen dizin veya sayfanın taranmasını engeller.
Disallow komutuna rağmen belirli sayfaların taranmasına izin vermek için kullanılır.
Sitenizin XML sitemap dosyasını tanımlar. Arama motorlarının daha verimli tarama yapmasını sağlar.
Birden fazla sitemap varsa:
Aşağıda T-Soft sistemine uygun, SEO açısından önerilen bir robots.txt yapısı yer almaktadır:
User-agent: *
Disallow: /admin/
Disallow: /basket
Disallow: /search
Disallow: /user
Disallow: /compare
Disallow: /*orderby=
Disallow: /*?campaigncode=
Allow: /urun/
Allow: /uploads/
Sitemap: https://umit.1isim.com/sitemap.xml
Robots.txt dosyası, noindex işlemi yapmaz. Yani içeriğin arama motoru dizinine girmesini engellemez, sadece taranmasını sınırlar. Gizlenmesini istiyorsanız ek olarak meta noindex veya X-Robots-Tag HTTP header kullanmalısınız.
Dinamik URL parametreleri (örneğin orderby, campaigncode, sort vb.) SEO’ya zarar verebileceğinden bunlar engellenmelidir.
"Disallow: /?" gibi düzenlemeler yaparken joker karakterlerin etkisine dikkat edilmelidir.
Google Search Console üzerinden sitenizin robots.txt dosyasını test edebilir, hatalı satırları görebilirsiniz:
🔗 https://www.google.com/webmasters/tools/robots-testing-tool
Statik sayfalar ve kategori sayfaları indekslenmeli (engellenmemeli).
Sepet, kullanıcı hesabı, arama sonuçları gibi sayfalar mutlaka engellenmeli.
Görsellerin barındırıldığı "/uploads/" dizini taramaya açık bırakılmalı.
Sitemap dosyasını mutlaka tanımlayın ve Google Search Console’a da gönderin.
T-Soft altyapısında kullanılan robots.txt dosyası, SEO açısından sitenizin görünürlüğü ve performansı için önemli bir bileşendir. Yukarıdaki önerileri uygulayarak arama motoru botlarının sitenizi daha sağlıklı bir şekilde taramasını sağlayabilir, gereksiz kaynak tüketiminden kaçınabilirsiniz.
Robots.txt Dosya İçeriği Düzenleme makalemizi incelemek için tıklayınız.