Robots.txt Tarafından Engellenmesine Rağmen Dizine Eklendi Uyarısı ve Çözümü
Search Console’daki “robots.txt tarafından engellenmesine rağmen dizine eklendi” (Indexed, though blocked by robots.txt) uyarısı, Google’ın robots.txt kuralı yüzünden sayfayı tarayamadığını ama başka sayfalardan verilen bağlantılar sayesinde adresini dizine eklediğini gösterir. Bu sayfalar arama sonuçlarında açıklamasız, “Bu sayfa için bilgi yok” notuyla görünebilir. Çözüm, sayfanın Google’da olmasını isteyip istemediğinize bağlıdır: istiyorsanız robots.txt engelini kaldırın; istemiyorsanız engeli kaldırıp sayfaya noindex ekleyin.
- Anlamı: Sayfa taranamıyor ama adresi linklerden biliniyor ve dizinde.
- Sayfa önemliyse: robots.txt’deki Disallow kuralını kaldırın, doğrulamayı başlatın.
- Sayfa gereksizse: robots.txt engelini kaldırın ve noindex ekleyin.
- Yanlış çözüm: Engel dururken noindex eklemek; Google noindex’i göremez.
- Filtre, arama ve etiket sayfaları gibi önemsiz sayfalar için bu uyarı genellikle sorun değildir.
Bu Uyarı Neden Çıkar?
robots.txt, arama motorlarına “bu adresi tarama” der; “dizine ekleme” demez. Google bir adresi taramadan da, ona verilen bağlantılardan öğrenip dizine ekleyebilir. Search Console bu durumu ayrıca uyarı olarak bildirir. Sık görülen nedenler:
- Site içi arama sonuçları, filtre ve sıralama parametreleri robots.txt ile kapatılmış ama bu sayfalara iç bağlantı veriliyor.
- WordPress etiket, yazar veya ek sayfaları kapatılmış ama menüde ya da yazılarda bağlantıları var.
- Yanlışlıkla önemli bir klasörün (ör. /urunler/) engellenmesi.
- Dış sitelerin engelli sayfaya bağlantı vermesi.
Nasıl Düzeltilir?
| Durum | Yapılacak |
|---|---|
| Sayfa önemli, Google’da görünmeli | robots.txt’deki ilgili Disallow satırını kaldırın; URL Denetleme ile test edip Düzeltmeyi doğrula‘ya tıklayın |
| Sayfa gereksiz, Google’da olmamalı | robots.txt engelini kaldırın, sayfaya noindex ekleyin; sayfa dizinden çıktıktan sonra iç bağlantıları da azaltın |
| Sayfa gereksiz ama sayısı çok az ve zararsız | Uyarıyı izlemekle yetinebilirsiniz; sıralamaya doğrudan zararı yoktur |
| Kopya veya parametreli adres | Engeli kaldırıp asıl sayfaya canonical verin |
Örnek robots.txt kuralları:
User-agent: *
Disallow: /etiket/
Disallow: /?s=Bu kurallar etiket ve site içi arama sayfalarının taranmasını engeller. Bu sayfalara sitede çok bağlantı veriliyorsa Google adreslerini yine dizine ekleyebilir; bu durumda engel yerine noindex daha doğru bir yöntemdir. Doğru kurallar için örnek robots.txt kodları yazısına bakabilirsiniz.
“Bu Web Sayfası Bir Uzantı Tarafından Engellendi” Aynı Şey mi?
Hayır. Bu mesaj, tarayıcınızdaki bir eklentinin (reklam engelleyici, güvenlik uzantısı vb.) sayfayı engellediğini gösterir ve Google ile ilgisi yoktur. Çözümü için Chrome’da site engelleme kaldırma yazısına bakın.
