Yönetici Özeti: Bilmeniz Gerekenler
- Robots.txt dosyasını UTF-8 formatında kaydedin ve mutlaka kök dizinde (root) barındırın.
- Sitemap.xml dosyanızı Search Console'a gönderin ve hata raporlarını düzenli kontrol edin.
- Tarama bütçesini verimli kullanmak, büyük sitelerin (10k+ sayfa) SEO performansını doğrudan etkiler.
Botları Evinize Davet Edin (Veya Kovun)
Dünyanın en iyi içeriğini de yazsanız, Googlebot o sayfayı bulamazsa (Crawl) veya dizine ekleyemezse (Index), o sayfa yok hükmündedir. Teknik SEO'nun bu iki temel dosyası, sitenizin Google ile konuştuğu dildir.
Robots.txt: Kapı Bekçisi
Bu dosya, botlara "Buraya gir" veya "Buraya girme" der. Özellikle e-ticaret sitelerinde filtre sayfaları, sepet sayfaları ve admin panelleri gibi binlerce gereksiz URL'in taranmasını engellemek, Tarama Bütçesi (Crawl Budget) yönetimi için hayati önem taşır.
User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /
Sitemap: https://site.com/sitemap.xmlSitemap (Site Haritası): Adres Defteri
Sitemap, botlara sitenizdeki önemli sayfaların listesini verir. Ancak sitemap'e "her şeyi" koymak hatadır.
- Sadece 200 OK: Yönlendirilmiş (301), bulunamayan (404) veya canonical etiketi başka yeri gösteren sayfaları sitemap'e eklemeyin.
- Bölünmüş Haritalar: Eğer 50.000'den fazla URL'iniz varsa (veya dosya 50MB'ı aşıyorsa), sitemap'i alt parçalara bölün (sitemap-blog.xml, sitemap-urunler.xml gibi).
- Lastmod Etiketi: Sayfanın ne zaman güncellendiğini belirten bu etiketi doğru kullanırsanız, Google güncel sayfalarınızı daha hızlı keşfeder.
Sıkça Sorulan Sorular
Robots.txt ile bir sayfayı Google'dan silebilir miyim?
Hayır! Disallow komutu sadece 'tarama'yı engeller. İndeksten silmek için 'noindex' etiketi kullanmalısınız.
Dinamik sitemap nedir?
İçerik eklendiğinde veya güncellendiğinde otomatik olarak yenilenen site haritalarıdır. WordPress veya Next.js gibi modern altyapılarda standarttır.
Thanks for reading!
Start a Project