Tarama Bütçesi ve Log Dosyası Analizi

Bu yazı iki iş yapıyor: önce konunun sizi ilgilendirip ilgilendirmediğini dürüstçe söylüyor, sonra gerçekten ilgilendiriyorsa ne yapılacağını anlatıyor. İkinci kısım teknik ve ayrıntılı; birincisi çoğu okuyucu için yeterli olacak.

Tarama Bütçesi Sizin Sorununuz mu?

Google eşikleri açıkça yazıyor. Rehber şu siteler için hazırlanmış: "içeriği orta sıklıkta (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfa)" ve "içeriği çok hızlı değişen (günlük) orta ve daha büyük siteler (10.000'den fazla benzersiz sayfa)". Ayrıca Search Console'da çok sayıda sayfası "Keşfedildi — şu anda dizine eklenmedi" durumunda olan siteler.

Search Console'un tarama istatistikleri raporu için de benzer bir uyarı var: "Bu rapor ileri düzey kullanıcılara yöneliktir. Siteniz binden az sayfaya sahipse bu raporu kullanmanıza veya bu düzeyde tarama ayrıntısıyla ilgilenmenize gerek yoktur."

Türkiye'deki kurumsal sitelerin büyük çoğunluğu bu eşiklerin çok altında. Tarama bütçesi onlara satılan bir endişedir; gerçek sorunları başka yerdedir.

İki Ayrı Kavram: Kapasite ve Talep

Tarama bütçesi tek bir sayı değil, iki ayrı şeyin kesişimi.

Tarama kapasitesi sınırı, Google'ın tanımıyla "sunucunuzun Google için bağlantıları açık tutarak harcadığı toplam süreyi" sınırlar. Sunucunuz yavaşlarsa veya hata vermeye başlarsa Google kendini geri çeker — yani kapasite sizin sunucunuzun sağlığına bağlıdır.

Tarama talebi ise Google'ın sitenizi ne kadar taramak istediğidir ve "sitenin boyutu, güncelleme sıklığı, sayfa kalitesi ve alaka düzeyine" göre belirlenir.

Ayrımın pratik önemi büyük: sunucuyu hızlandırmak kapasiteyi artırır ama talebi artırmaz. Google sitenizi taramak istemiyorsa, sunucunuzun boşta beklemesi bir şey değiştirmez.

Algılanan Envanter: En Büyük Kaldıraç

Google'ın talep tarafında kontrol edebileceğiniz başlıca etken "algılanan envanter" — yani Google'ın sitenizde var sandığı URL sayısı. Yinelenen URL'leri ortadan kaldırmak doğrudan bütçe kazandırır.

Bir ürünün beş farklı sıralama parametresiyle beş URL üretmesi, Google için beş ayrı sayfadır. Bin ürünlü bir katalog böylece beş bin URL'ye dönüşür ve taranacak gerçek sayfalar sıraya giremez. E-ticaretteki filtre ve facet sorununu e-ticaret SEO rehberimizde ayrıca ele almıştık — tarama bütçesini tüketen en yaygın kaynak odur.

Bütçeyi Tüketen Diğer Kalıplar

• Yumuşak 404'ler. Google'ın ifadesiyle bu sayfalar "taranmaya devam eder ve bütçenizi harcar". İçerik yokken 200 kodu dönen her sayfa bir sızıntıdır.
• Uzun yönlendirme zincirleri. Google bunların "tarama üzerinde olumsuz etkisi olduğunu" belirtiyor. Zincir yerine doğrudan hedefe yönlendirin; yöntemi 301 yönlendirme yazımızda.
• Sonsuz takvim ve sayfalama. Her tıklamada yeni bir URL üreten takvimler teorik olarak sonsuz sayıda sayfa yaratır.
• Yavaş sayfa yükleme. Kapasite sınırını doğrudan daraltır; hız tarafı site hızı yazımızda.

noindex Tarama Bütçesini Korumaz

Bu, konunun en çok yanlış bilinen noktası. Bir sayfayı taranmaktan kurtarmak için noindex koymak işe yaramaz — çünkü noindex etiketini görmek için Google'ın sayfayı önce istemesi gerekir.

Google bunu doğrudan söylüyor: "noindex kullanmayın" — "Google yine de isteyecek, sonra sayfayı bırakacak ve tarama süresi boşa gidecek."

Tarama bütçesini korumanın yolu robots.txt'tir: "URL'leri robots.txt ile engellemek, Google'ın onları taramasını önler ve URL'lerin işlenme olasılığını belirgin biçimde azaltır."

Robots.txt ile Engelleme Ne Zaman Doğru?

Engelleme güçlü ama geri tepebilir bir araçtır. Doğru kullanım alanı, kullanıcı için anlamlı olup arama için değersiz olan URL'lerdir: iç arama sonuçları, sepet ve filtre kombinasyonları, oturum parametreli kopyalar.

Yanlış kullanım iki biçimde olur. Birincisi, dizine girmesini istemediğiniz ama zaten dizinde olan bir sayfayı robots.txt ile engellemek — Google etiketi göremediği için sayfa dizinde kalabilir. Orada doğru araç noindex'tir. İkincisi, CSS ve JavaScript dosyalarını engellemek: sayfa doğru işlenemez.

Kural şöyle özetlenebilir: taranmasını istemiyorsan robots.txt, dizine girmesini istemiyorsan noindex. İkisini aynı sayfada birlikte kullanmak ise noindex'i etkisiz kılar.

Sunucu Logları Ne Anlatır?

Search Console size Google'ın ne yaptığını özetler; loglar tam olarak ne yaptığını gösterir. Log satırı başına dört bilgi değerlidir: hangi URL istendi, hangi yanıt kodu döndü, hangi tarayıcı yaptı ve ne zaman.

Bu dört bilgiden çıkan sorular şunlardır: hangi sayfalar hiç taranmıyor (sitemap'te olup logda hiç görünmeyenler), hangi değersiz URL'ler bütçenin büyük kısmını yiyor, hangi bölümler ne sıklıkla taranıyor, tarama hangi yanıt kodlarıyla karşılaşıyor.

En çarpıcı bulgu genellikle şudur: taramanın önemli bir bölümü, sitenin kimsenin umursamadığı bir köşesinde döner.

Googlebot'u Sahte Botlardan Ayırmak

Log analizine başlamadan önce yapılması gereken ilk iş bu. Kullanıcı aracısı (user agent) dizesi kolayca taklit edilir; "Googlebot" yazan her satır Google değildir.

Doğrulama yöntemi ters DNS sorgusudur: isteği yapan IP adresinin ters çözümlemesi googlebot.com ya da google.com alan adına çıkmalı, ardından o ad ileri yönde sorgulandığında aynı IP'ye dönmelidir. Google ayrıca tarayıcı IP aralıklarını yayımlar; büyük log setlerinde bu listeyle eşleştirmek daha hızlıdır.

Bu adım atlanırsa analiz bozulur: sahte botların ürettiği trafik, Google'ın davranışı sanılır ve yanlış sonuçlara varılır.

Search Console Tarama İstatistikleri

Log erişimi yoksa ikinci en iyi kaynak bu rapordur. Google'ın ifadesiyle rapor "kaç istek yapıldığını ve ne zaman, sunucu yanıtınızın ne olduğunu ve karşılaşılan kullanılabilirlik sorunlarını" gösterir.

Dört kırılımı vardır ve her biri ayrı bir soruya cevap verir: yanıt kodları (tarama hataya mı çarpıyor), dosya türleri (bütçe HTML'e mi yoksa görsele mi gidiyor), tarama amacı — keşif mi yenileme mi (yeni içerik bulunuyor mu yoksa Google eskiyi mi tazeliyor) ve Googlebot türü (akıllı telefon, masaüstü, görsel…).

Ana durum göstergesi ise sunucu sağlığıdır: yeşil, Google'ın "önemli bir tarama kullanılabilirliği sorunuyla karşılaşmadığı" anlamına gelir; kırmızı, son bir hafta içinde en az bir ciddi sorun yaşandığını söyler. Raporun genel kullanımını Search Console rehberimizde anlatmıştık.

Tarama Sıklığı Bir Sıralama Sinyali Değildir

Sık taranmak iyi bir işaret olabilir ama sıralama getirmez. İlişki ters yöndedir: Google değerli ve sık güncellenen siteleri daha sık tarar; sık taranmak siteyi değerli yapmaz.

Bunun pratik sonucu şu: tarama sıklığını artırmaya çalışmak bir hedef değildir. Hedef, taranan sayfaların doğru sayfalar olmasıdır. Bin gereksiz URL yerine yüz değerli sayfanın taranması, toplam tarama sayısı düşse bile iyileşmedir.

Log Analizi: Pratik Adımlar

Tarama Bütçesi Denetim Listesi

Küçük Siteyseniz Ne Yapmalı?

Hiçbir şey — en azından bu konuda. Binden az sayfalı bir sitede tarama bütçesi optimizasyonu, var olmayan bir sorunu çözmeye çalışmaktır ve gerçek işlerden zaman çalar.

Küçük sitelerde taranma sorunu varsa kaynağı genellikle bütçe değil erişilebilirliktir: yanlış bir robots.txt kuralı, şablondan gelen bir noindex, kırık iç bağlantılar ya da sitemap'in güncel olmaması. Bunların kontrol sırası teknik SEO kontrol listemizde duruyor.

Özetle

Tarama bütçesi gerçek bir kavramdır ama dar bir kitleyi ilgilendirir. Önce Google'ın eşiklerine bakın; girmiyorsanız konuyu kapatın. Giriyorsanız sıra şudur: algılanan envanteri küçültün, israfı (yumuşak 404, zincir, kopya URL) temizleyin, engellemeyi noindex ile değil robots.txt ile yapın ve kararlarınızı tahminle değil logla verin.

Sitenizin taranma davranışını birlikte incelememizi isterseniz SEO hizmetlerimize göz atabilir veya iletişim formundan ulaşabilirsiniz.

Sık Sorulan Sorular