SEO

Crawl-delay Nedir? Robots.txt Tarama Gecikmesi ve Google

Crawl-delay, robots.txt dosyasına yazılan ve bir arama motoru botuna, sitenizden iki sayfa isteği arasında en az kaç saniye beklemesi gerektiğini söyleyen kuraldır. Örneğin Crawl-delay: 10, botun her 10 saniyede en fazla bir sayfa taramasını ister. Amacı sunucuya binen yükü azaltmaktır. Ancak Google bu kuralı desteklemez; Bing ve SEO araçlarının botları ise dikkate alır. Googlebot’un tarama hızını düşürmeniz gerekiyorsa Google’ın önerdiği yöntem, kısa süreliğine 503 veya 429 yanıtı döndürmektir.

Kısaca

Kod: Crawl-delay: 10 (saniye cinsinden)
Google: Desteklemez, kuralı yok sayar.
Bing (ve Yahoo, DuckDuckGo): Destekler.
Yandex: 2018’den beri desteklemiyor.
Dikkat: Yüksek değerler taranan sayfa sayısını ciddi şekilde düşürür. Çoğu sitede kullanmanıza gerek yoktur.

İçindekiler

Crawl-delay Nasıl Kullanılır?

Kural, robots.txt dosyasında ilgili botun grubuna yazılır:

User-agent: bingbot
Crawl-delay: 10

User-agent: AhrefsBot
Crawl-delay: 30

Tüm botlar için yazmak da mümkündür (User-agent: *), ancak Google zaten dikkate almadığı için bu kural çoğunlukla Bing ve SEO araçlarının botlarını etkiler. Değer saniye cinsindendir; yaygın kullanılan değerler 1, 5, 10 ve 30’dur.

Crawl-delay Değeri Ne Anlama Gelir?

Crawl-delay değerine göre günlük en fazla taranabilecek sayfa: 1 saniye 86.400, 5 saniye 17.280, 10 saniye 8.640, 30 saniye 2.880, 60 saniye 1.440 sayfa
Bir günde 86.400 saniye vardır. Crawl-delay değeri, bir botun o gün tarayabileceği en fazla sayfa sayısını doğrudan sınırlar:

Kural	İki istek arası	Günlük en fazla sayfa
`Crawl-delay: 1`	1 saniye	86.400
`Crawl-delay: 5`	5 saniye	17.280
`Crawl-delay: 10`	10 saniye	8.640
`Crawl-delay: 30`	30 saniye	2.880
`Crawl-delay: 60`	1 dakika	1.440

Binlerce ürün sayfası olan bir e-ticaret sitesinde Crawl-delay: 30 yazmak, yeni ürünlerin ve fiyat değişikliklerinin o arama motorunda günlerce geç görünmesine yol açabilir.

Hangi Arama Motorları Crawl-delay’i Destekler?

Crawl-delay kuralını dikkate alan botlar: Googlebot hayır, Bingbot evet, YandexBot 2018’den beri hayır, AhrefsBot ve SemrushBot evet, Baiduspider hayır

Bot	Destekliyor mu?	Tarama hızı nasıl ayarlanır?
Googlebot	Hayır	Kısa süreli 500/503/429 yanıtı veya Search Console üzerinden özel istek
Bingbot (Bing, Yahoo, DuckDuckGo sonuçları)	Evet	Crawl-delay veya Bing Webmaster Tools’taki tarama kontrolü
YandexBot	Hayır (Şubat 2018’den beri)	Yandex Webmaster panelindeki tarama hızı ayarı
AhrefsBot, SemrushBot	Evet	Crawl-delay veya tamamen engelleme
Baiduspider	Hayır	Baidu’nun kendi webmaster paneli

Google Neden Crawl-delay’i Desteklemiyor?

Google’da Search Advocate olarak çalışan John Mueller, 2017’de Google Search Central kanalında bu soruyu cevapladı. Google, sunucuların kaldırabileceği yükün gün içinde değiştiğini, sabit bir bekleme süresinin bu yüzden mantıklı olmadığını düşünüyor. Bunun yerine Googlebot, sunucunun yanıt süresine ve verdiği hata kodlarına bakarak tarama hızını kendisi ayarlıyor: sunucu yavaşlarsa veya hata verirse yavaşlıyor, hızlı yanıt verirse hızlanıyor.

John Mueller: Google crawl-delay kuralını destekliyor mu?

Googlebot’un Tarama Hızı Nasıl Azaltılır?

Search Console’daki eski tarama hızı ayarı 2024’te kaldırıldı. Google’ın bugünkü önerileri şunlar:

Acil durumda geçici hata kodu dönün: Birkaç saat veya en fazla 1-2 gün boyunca Googlebot’un isteklerine 500, 503 veya 429 yanıtı verin. 503 ve 429 yanıtlarına Retry-After başlığı ekleyerek ne zaman tekrar denenebileceğini belirtebilirsiniz.
Uzun süre kullanmayın: Aynı adres birkaç gün boyunca hata verirse Google’ın dizininden çıkarılabilir.
Özel istek gönderin: Hata kodu döndürmek uygun değilse Search Console’daki Googlebot raporu üzerinden tarama hızının düşürülmesi için istek gönderebilirsiniz. Değerlendirme birkaç gün sürebilir; tarama hızını artırmak için istek yapılamaz.

Kaynak: Google, Googlebot tarama hızını azaltma.
Google’ın taramayı hangi sıklıkta ve hangi saatlerde yaptığını nasıl belirlediğini crawl schedule (tarama zamanlaması) yazısında anlattım.

Crawl-delay Kullanmalı mıyım?

Çoğu site için hayır. Sunucunuz botların trafiğini kaldıramıyorsa sorun genellikle barındırma kaynaklarındadır. Önce şunları kontrol edin:

Tarama istatistikleri: Search Console’daki Ayarlar > Tarama istatistikleri raporunda günlük istek sayısını, ortalama yanıt süresini ve sunucu hatalarını inceleyin.
Önbellek: Sayfa önbelleği (ör. WP Fastest Cache) sunucunun her istekte sayfayı yeniden oluşturmasını önler.
Gereksiz URL’ler: Filtre, sıralama ve site içi arama parametreleri binlerce gereksiz adres üretiyorsa bunları robots.txt ile taramadan çıkarın.
Zararlı botlar: Yükün kaynağı arama motorları değil, kendini bot gibi tanıtan kazıyıcılar olabilir. Bunlar robots.txt’yi dinlemez; güvenlik duvarı veya Cloudflare gibi bir hizmetle engellenmelidir.
Barındırma: Sürekli kaynak sorunu yaşıyorsanız hosting paketinizi yükseltmek, taramayı yavaşlatmaktan daha doğru bir çözümdür.

Arama sonuçlarının ne sıklıkla güncellendiğini anlatan benzer bir kavram için: indexing delay nedir?

Sıkça Sorulan Sorular

Crawl-delay nedir?

Crawl-delay, robots.txt dosyasında bir arama motoru botuna iki sayfa isteği arasında kaç saniye beklemesi gerektiğini söyleyen kuraldır. Sunucu yükünü azaltmak için kullanılır.

Google crawl-delay’i destekliyor mu?

Hayır. Googlebot crawl-delay kuralını yok sayar ve tarama hızını sunucunun yanıtlarına göre kendisi ayarlar.

Crawl-delay: 10 ne demek?

Botun iki sayfa isteği arasında en az 10 saniye beklemesi demektir. Bu, o botun günde en fazla 8.640 sayfa tarayabileceği anlamına gelir.

Crawl-delay SEO’ya zarar verir mi?

Google’ı etkilemez. Bing gibi kuralı uygulayan arama motorlarında ise yüksek değerler sayfalarınızın daha az ve daha geç taranmasına yol açar.

Googlebot sitemi çok sık tarıyor, ne yapmalıyım?

Kısa süreliğine 503 veya 429 yanıtı dönebilir ya da Search Console üzerinden tarama hızının düşürülmesi için özel istek gönderebilirsiniz. Sorun sürekli ise barındırma kaynaklarınızı ve gereksiz URL’leri gözden geçirin.