"Bu sayfa aramada çıkmasın" dediğinizde akla ilk gelen çözüm genellikle robots.txt'e bir `Disallow` satırı eklemektir. Google'ın robots.txt belgesi ise bu dosyanın sayfayı Google'dan uzak tutma mekanizması olmadığını açıkça söyler. Bu yazı, hangi durumda hangi yöntemin düşünülmesi gerektiğini sıralı bir akışa çevirir. Genel bir değerlendirme yöntemidir; belirli bir sitenin verisi, yaşanmış bir vaka veya ölçülmüş bir sonuç değildir.
Üç yöntem, üç ayrı iş
Google'ın robots.txt rehberine göre:
- robots.txt (Disallow): Tarayıcının hangi URL'lere erişebileceğini belirtir. Asıl amacı, sitenize gelen tarama trafiğini yönetmektir.
- noindex (meta etiketi veya yanıt başlığı): Sayfanın dizine alınmasını engeller.
- Parola koruması: İçeriği sunucu tarafında erişime kapatır.
Belge, bir sayfayı Google'dan uzak tutmak için noindex veya parola korumasının kullanılmasını söyler.
Disallow neden "gizlemez"?
Belgedeki iki nokta önemlidir:
- robots.txt ile engellenmiş bir sayfanın URL'si arama sonuçlarında yine görünebilir; ancak sonuçta açıklama bulunmaz.
- Engellenen bir sayfaya başka sitelerden bağlantı verilmişse Google URL'yi yine de bulup dizine alabilir. URL adresi ve olası olarak bağlantı metni gibi herkese açık bilgiler sonuçlarda çıkabilir.
Ayrıca robots.txt kuralları tarayıcının uymasına bağlıdır; Googlebot gibi saygın tarayıcılar uyar, diğerleri uymayabilir. Bu yüzden gizli tutulması gereken bilgi için tek başına yeterli değildir.
Noindex'in ön koşulu: sayfa taranabilir olmalı
Bu belgede noindex'in tarama koşulu ayrıca anlatılmaz; ancak mantık şudur: noindex sayfanın içinde (meta etiketi) veya yanıt başlığında bulunur. Tarayıcı sayfaya erişemezse bu talimatı okuyamaz. Bu nedenle aynı URL için hem `Disallow` hem noindex kullanmak çelişkili bir kombinasyondur; Google'ın talimatı görmesi için engelin kaldırılması gerekir. Belge de arama sonucunda açıklamasız bir URL görüp bunu düzeltmek isteyenlere robots.txt'teki engelleyen satırı kaldırmalarını, sayfayı tamamen gizlemek isteyenlere ise başka bir yöntem kullanmalarını söyler.
Karar akışı
- İçerik gizli mi kalmalı (kişisel veri, özel dosya, yalnızca üyelere açık)? Evet ise parola koruması veya sunucu tarafı erişim denetimi gerekir. Disallow ve noindex güvenlik önlemi değildir.
- Sayfa herkese açık ama aramada çıkmamalı mı? noindex etiketi veya yanıt başlığı kullanın ve sayfanın taranabilir kalmasını sağlayın.
- Amaç yalnızca tarama yükünü azaltmak mı (önemsiz veya benzer sayfalar)? robots.txt uygundur. Ancak URL'nin yine de aramada belirebileceğini bilin.
- Sayfa artık hiç gerekmiyor mu? Belge, sayfanın tamamen kaldırılmasını da seçenek olarak sayar.
- Acil geçici gizleme mi lazım? Search Console başlangıç rehberi, Removals aracının içeriği Google sonuçlarından geçici olarak gizlediğini, başarılı bir talebin yaklaşık altı ay sürdüğünü ve bu sürede kalıcı bir çözüm bulmanız gerektiğini belirtir.
Varsayımsal örnekler
Aşağıdakiler kurgudur.
Sepet sayfası: Aramada çıkması anlamsız, içeriği de gizli değil. Tarama yükü ve kullanıcıya özel sayfa niteliği öne çıkıyorsa Disallow düşünülebilir. Aramada URL görünmesi sorun olacaksa noindex tercih edilir ve sayfa taranabilir bırakılır.
Özel fiyat listesi PDF'i: Yalnızca belirli müşteriler görecekse parola koruması gerekir. Sadece Disallow yazmak dosyayı bilen herkesin açmasına engel olmaz.
Eski kampanya sayfası: Sayfa hâlâ açık, ama aramada istenmiyor. Önce noindex eklenir. Google sayfayı yeniden tarayıp talimatı gördükten sonra, tarama yükü gerekçesiyle Disallow eklemek istenirse bu ayrı bir karar olarak değerlendirilir. Sayfa artık gerekmiyorsa kaldırmak da bir seçenektir.
Kontrol listesi
- Sayfa URL'si robots.txt'te engelli mi? Engelliyse noindex'i okuyabilmeleri mümkün mü?
- Sonuçlarda açıklamasız çıkan URL var mı? Varsa engelleyen satırı ve gizleme yöntemini yeniden gözden geçirin.
- Sayfayı dışarıdan bağlayan siteler olabilir mi? Olabiliyorsa Disallow tek başına güvenli değildir.
- İçerik gerçekten gizli mi? Öyleyse parola koruması şarttır.
RampikaBot ve robots.txt
RampikaBot dokümantasyonuna göre bu tarayıcı robots.txt kurallarını tavsiye değil kural olarak ele alır; `User-agent` grubuna, `Disallow`/`Allow` önek eşleşmesine ve `Crawl-delay` değerine uyar. Sunucu tarafında user-agent'a göre 403 döndürmek de sayfa içeriğinin okunmasını engeller ve bu yanıt panelde erişim durumu olarak görünebilir. Bu, RampikaBot'un kendi davranışını anlatır; Google'ın davranışını değiştirdiği veya kanıtladığı anlamına gelmez. Bir sayfa RampikaBot için engelliyse, o sayfanın içeriği Rampika tarafından okunamaz; aramada gizlenmesi ise yukarıdaki yöntemlere bağlıdır.
Uygulama için yetki
noindex etiketi eklemek, yanıt başlığı ayarlamak, robots.txt düzenlemek veya parola koruması kurmak site dosyalarına, yönetim paneline ya da sunucu yapılandırmasına yetkili erişim gerektirir. Bu erişiminiz yoksa işi site yöneticisine veya geliştiriciye devredin. Değişikliği yaptıktan sonra sayfa düzeyindeki dizin durumunu Search Console'dan izleyebilirsiniz; Google'ın yeniden tarama zamanı değişkendir, sonucun hemen görüneceğinin garantisi yoktur.