Robots.txt Dosyası Düzenleme Rehberi
Robots.txt Nedir, Ne İşe Yarar?
Robots.txt dosyası, web sitenizin kök dizininde yer alan ve arama motoru botlarına (örümceklerine) sitenizin hangi bölümlerine erişip erişemeyeceklerini bildiren bir metin dosyasıdır. Bu dosya, özellikle arama motoru optimizasyonu (SEO), sunucu kaynaklarını yönetme ve özel/veri içeren alanları gizleme gibi kritik amaçlar için kullanılır.
Örneğin:
- /admin/ klasörü arama motorları tarafından taranmasın istenebilir.
- /search gibi dinamik içerikler SEO'ya olumsuz etki yapabilir, bu nedenle engellenebilir.
Sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek ve bot yönetimini optimize etmek için Robots.txt dosyasını T-Soft paneliniz üzerinden kolayca düzenleyebilirsiniz.
Ne İçin Kullanılır?
- Tarama Bütçesini Yönetmek: Arama motorlarının önemsiz sayfaları taramasını engelleyerek değerli sayfalarınıza odaklanmasını sağlar.
- Özel Alanları Gizlemek: Yönetim paneli, sepet sayfası veya kullanıcı profil sayfaları gibi dizine eklenmemesi gereken alanları taramaya kapatır.
- Sitemap Bildirimi: Arama motorlarına site haritanızın (sitemap.xml) konumunu gösterir.
İşlem Adımları
- Yönetim Paneline Giriş Yapın: T-Soft yönetim panelinizde sol menüde bulunan Ayarlar sekmesine tıklayın.
- Arama Yapın: Üst kısımdaki arama çubuğuna "robot" yazın.
- Düzenleme Ekranını Açın: Karşınıza gelen Robots.txt İçeriği alanının sağ tarafında bulunan Düzenle butonuna tıklayın.
- İçeriği Güncelleyin: Açılan pencereye gerekli komutları (User-agent, Disallow vb.) ekleyin.
- Kaydedin: İşlemi tamamladıktan sonra ayarları kaydederek dosyanın güncellenmesini sağlayın.
Alanlar ve Fonksiyonlar
| Alan / Buton | Açıklama |
|---|---|
| Robots.txt İçeriği | Dosyanın ham metin içeriğinin yazıldığı alandır. Buraya yazılan metin, mevcut robots.txt dosyasının üzerine yazılır. |
| Yenile İkonu | Yapılan değişikliklerin ardından içeriği tazelemek için kullanılır. |
| Geçmiş İkonu | Daha önce yapılan içerik değişikliklerini ve versiyonları görüntülemenizi sağlar. |
Disallow: /), sitenizin tamamının arama motoru sonuçlarından silinmesine neden olabilir. Değişiklik yaparken dikkatli olunuz.T-Soft Sisteminde Robots.txt Dosyası
T-Soft altyapısında barındırılan e-ticaret sitelerinde robots.txt dosyası sistem tarafından otomatik olarak oluşturulur. Ancak isteğe bağlı olarak belirli düzenlemeler yapılabilir.
Örnek bir T-Soft robots.txt bağlantısı : https://www.siteadi.com/robots.txt
Robots.txt Dosyasında Kullanılan Temel Komutlar
1. User-agent
Botları hedef almak için kullanılır.
2. Disallow
Belirtilen dizin veya sayfanın taranmasını engeller.
- Disallow: /search
- Disallow: /basket
3. Allow
Disallow komutuna rağmen belirli sayfaların taranmasına izin vermek için kullanılır.
- Allow: /urun/
4. Sitemap
Sitenizin XML sitemap dosyasını tanımlar. Arama motorlarının daha verimli tarama yapmasını sağlar.
Birden fazla sitemap varsa:
- Sitemap: https://umit.1isim.com/sitemap-categories.xml
T-Soft için Önerilen Robots.txt Yapısı
Aşağıda T-Soft sistemine uygun, SEO açısından önerilen bir robots.txt yapısı yer almaktadır:
Disallow: /admin/
Disallow: /basket
Disallow: /search
Disallow: /user
Disallow: /compare
Disallow: /*orderby=
Disallow: /*?campaigncode=
Allow: /urun/
Allow: /uploads/
Sitemap: https://umit.1isim.com/sitemap.xml
Dikkat Edilmesi Gereken Noktalar
Robots.txt dosyası, noindex işlemi yapmaz. Yani içeriğin arama motoru dizinine girmesini engellemez, sadece taranmasını sınırlar. Gizlenmesini istiyorsanız ek olarak meta noindex veya X-Robots-Tag HTTP header kullanmalısınız.
Dinamik URL parametreleri (örneğin orderby, campaigncode, sort vb.) SEO’ya zarar verebileceğinden bunlar engellenmelidir.
"Disallow: /?" gibi düzenlemeler yaparken joker karakterlerin etkisine dikkat edilmelidir.
Robots.txt Test Etme
Google Search Console üzerinden sitenizin robots.txt dosyasını test edebilir, hatalı satırları görebilirsiniz:
https://www.google.com/webmasters/tools/robots-testing-tool
SEO Uyumlu Robots.txt İçin Öneriler
Statik sayfalar ve kategori sayfaları indekslenmeli (engellenmemeli).
Sepet, kullanıcı hesabı, arama sonuçları gibi sayfalar mutlaka engellenmeli.
Görsellerin barındırıldığı "/uploads/" dizini taramaya açık bırakılmalı.
Sitemap dosyasını mutlaka tanımlayın ve Google Search Console’a da gönderin.
Sonuç
T-Soft altyapısında kullanılan robots.txt dosyası, SEO açısından sitenizin görünürlüğü ve performansı için önemli bir bileşendir. Yukarıdaki önerileri uygulayarak arama motoru botlarının sitenizi daha sağlıklı bir şekilde taramasını sağlayabilir, gereksiz kaynak tüketiminden kaçınabilirsiniz.
Robots.txt hakkında detaylı google developer bilgisi için tıklayınız.
Sık Sorulan Sorular
Robots.txt dosyamda yaptığım değişiklik ne zaman aktif olur?
Panel üzerinden kaydedildiği anda dosya güncellenir. Ancak arama motorlarının bu değişikliği fark etmesi botların ziyaret sıklığına göre zaman alabilir.
Site haritamı robots.txt dosyasına eklemeli miyim?
Evet, genellikle içeriğin en altına Sitemap: https://www.siteniz.com/sitemap.xml şeklinde ekleme yapılması önerilir.
Dosya içeriğini tamamen silersem ne olur?
İçerik boş bırakılırsa arama motorları sitenizin tamamının taranabilir olduğunu varsayar.
