TakipNetSEO Tarayıcısı
TakipNetSEO, takip.net'teki SEO Analiz aracının tarayıcısıdır. Bir üye bir sitenin SEO analizini başlattığında o sitenin sayfalarını indirir ve teknik SEO sorunlarını raporlar. Kendini her istekte açıkça tanıtır ve robots.txt kurallarına uyar.
Mozilla/5.0 (compatible; TakipNetSEO/1.0; +https://takip.net/seo-analiz/tarayici)Kendi sitenizi analiz edin
SEO Analiz, sitenizi 30'dan fazla kontrolden geçirip kanıtlı ve çözüm adımlı bir rapor hazırlar.
SEO AnalizNe zaman ve neyi tarar?
- Sürekli tarama yapmaz; yalnızca bir takip.net üyesi o site için analiz başlattığında çalışır.
- Önce robots.txt dosyasını okur, sonra ana sayfadan ve site haritasından (sitemap) seçtiği sayfaları indirir: bir analizde en fazla 100 sayfa.
- Sayfalardaki iç linklerin, canonical adreslerin ve yönlendirmelerin çalışıp çalışmadığını görmek için bu adreslere kısa istekler (HEAD ya da GET) gönderir.
- Üye eski alan adları girdiyse, bu alan adlarının yeni siteye nasıl yönlendiğini de aynı kurallarla kontrol eder.
- Backlink doğrulaması açıksa, sitenize bağlantı verdiği bildirilen sayfaları da aynı kimlik ve kurallarla ziyaret edebilir.
Ne hızla?
- Aynı siteye aynı anda tek istek gönderir ve iki istek arasında en az 1 saniye bekler (1 istek/sn/site).
- robots.txt'teki Crawl-delay değerine 10 saniyeye kadar uyar; daha uzun bir bekleme istiyorsanız tarayıcıyı Disallow ile engelleyin.
- Her analizin istek sayısı ve süresi sınırlıdır; sınıra ulaşıldığında yeni sayfa indirilmez.
- Bir site aynı anda yalnızca bir analizde taranır ve günlük analiz sayısı sınırlıdır.
robots.txt kurallarına nasıl uyar?
- robots.txt standardını (RFC 9309) izler.
User-agent: TakipNetSEOgrubu varsa onu, yoksaUser-agent: *grubunu uygular. - robots.txt'in engellediği bir adresi hiç istemez; atlanan adres sayısı raporda yazar.
- robots.txt yoksa (4xx yanıtı) kısıtlama olmadığı kabul edilir. Sunucu hatası (5xx) ya da zaman aşımı olursa o site taranmaz.
- robots.txt her analizin başında yeniden okunur; yaptığınız değişiklik bir sonraki analizde uygulanır.
- TakipNetSEO'yu engellemek Google'ı ya da başka arama motorlarını etkilemez.
Ne yapmaz?
- Oturum açmaz, form göndermez ve JavaScript çalıştırmaz; çerez saklamaz.
- Bağlantı kontrollerinde çıkış, sepet, ödeme, silme ya da abonelikten çıkma gibi işlem adreslerini izlemez.
- Kendini Googlebot, Bingbot ya da bir web tarayıcısı gibi göstermez; her istekte yukarıdaki kimliği kullanır.
- Yalnızca genel internetteki adreslere bağlanır; yerel ağ ve özel IP adresleri reddedilir.
robots.txt örnekleri
Sitenizin kökündeki robots.txt dosyasına (ör. https://ornek.com/robots.txt) ekleyin:
Tamamen engelleyin
User-agent: TakipNetSEO
Disallow: /TakipNetSEO sitenizin hiçbir sayfasını indirmez; analiz başlatılırsa rapor “Engellendi” olarak biter.
Bir bölümü kapatın
User-agent: TakipNetSEO
Disallow: /ozel/
Disallow: /aramaYalnızca belirttiğiniz yollar atlanır; atlanan adres sayısı raporda yazar.
Yavaşlatın
User-agent: TakipNetSEO
Crawl-delay: 5İstekler arasında en az bu kadar saniye beklenir (en fazla 10 sn uygulanır).
Tarayıcımızla ilgili bir sorun mu var?
En hızlı çözüm robots.txt kuralıdır. Başka bir sorun görürseniz isteğin zamanını ve adresini yazarak bize ulaşın; inceleyip yanıt veririz.