Tarama Bütçesi (Crawl Budget) Nedir? Neden Önemlidir?

Tarama bütçesi (crawl budget), Googlebot gibi arama motoru botlarının bir sitede belirli bir zaman diliminde taramaya ayırdığı kaynak miktarıdır. Bot her siteye sınırsız zaman ayırmaz; sunucunuzun kaldırabileceği yük ile içeriğinizin taranmaya değer görülme derecesi bu bütçeyi belirler. Küçük bir sitede bu sınır nadiren hissedilir. On binlerce URL barındıran bir e-ticaret sitesinde ise tarama bütçesi, yeni ürünün indekse girme hızından güncellenen fiyatın arama sonuçlarına yansımasına kadar her şeyi etkiler. Bu yazıda tarama bütçesinin iki temel bileşenini, hangi sitelerde kritik hale geldiğini, adım adım nasıl optimize edildiğini ve AI crawler'larının devreye girdiği GEO döneminde kavramın nasıl genişlediğini ele alıyoruz.

Tarama bütçesi nedir?

Tarama bütçesi, arama motorunun bir site için ayırdığı tarama kapasitesinin toplamıdır ve Google'ın resmi çerçevesine göre iki bileşenden oluşur: crawl rate limit ve crawl demand. Bu iki değerin kesişimi, Googlebot'un sitenizden günde kaç URL çekeceğini belirler.

Crawl rate limit (tarama hızı sınırı), Googlebot'un sunucunuza aynı anda kaç bağlantı açacağını ve istekler arasında ne kadar bekleyeceğini tanımlar. Amaç sitenizi yormamaktır. Sunucu hızlı ve hatasız yanıt veriyorsa sınır yükselir; yavaşlama ya da 5xx hataları görüldüğünde Googlebot kendini geri çeker. Yani sunucu performansı doğrudan tarama kapasitesine dönüşür.

Crawl demand (tarama talebi), Google'ın sitenizi ne kadar taramak istediğidir. Popüler, sık güncellenen ve arama sonuçlarında talep gören URL'ler daha sık taranır. Uzun süredir değişmeyen ya da düşük değerli görülen sayfalara talep azalır. Sunucunuz ne kadar güçlü olursa olsun, talep yoksa bütçe kullanılmaz.

Bu mekanizmanın merkezindeki botun nasıl çalıştığını Googlebot nedir ve ne işe yarar yazısında ayrıntılı inceledik.

Tarama bütçesi neden önemlidir?

Tarama bütçesi önemlidir çünkü taranmayan sayfa indekslenmez, indekslenmeyen sayfa da trafik üretmez. Google'ın kendi rehberi bu konunun esas olarak büyük siteleri ilgilendirdiğini söyler: 1 milyonun üzerinde URL barındıran siteler ile içeriği günlük değişen 10 binin üzerinde sayfalık siteler tipik risk grubudur. Birkaç yüz sayfalık kurumsal bir sitede tarama bütçesi darboğazı yaşanması olası değildir.

E-ticaret siteleri en kritik gruptur. Kategori filtreleri, sıralama parametreleri, iç arama sonuçları ve varyant URL'leri gerçek ürün sayısının katbekat üzerinde taranabilir URL üretir. Googlebot bütçesini bu türetilmiş URL'lerde harcadığında, asıl para kazandıran ürün ve kategori sayfaları sıraya girer.

Yeni içeriğin indekslenme hızı da bütçeye bağlıdır. Haber siteleri, sık kampanya değiştiren markalar ve stok durumu değişen mağazalar için taranma gecikmesi doğrudan gelir kaybıdır. Bütçesi verimli kullanılan bir sitede yeni URL saatler içinde indekse girer; bütçesi çöp URL'lere dağılmış bir sitede bu süre haftalara uzayabilir.

Tarama bütçesi nasıl optimize edilir?

Tarama bütçesi optimizasyonu, botun kapasitesini artırmak ve o kapasiteyi değerli URL'lere yönlendirmek üzerine kurulur. Aşağıdaki altı adım pratikte en yüksek etkiyi üretir.

1. Site hızını ve sunucu sağlığını iyileştirin. Yanıt süresi düşen, 5xx hatası vermeyen bir sunucu crawl rate limit'i yukarı taşır. TTFB'yi düşürmek, botun aynı sürede daha fazla URL çekmesi demektir.
2. İç link mimarisini derinlik azaltacak şekilde kurgulayın. Ana sayfadan 3-4 tıkla ulaşılamayan sayfalar daha az taranır. Önemli sayfaları kategori ve hub sayfalarından linkleyin; yetim (orphan) sayfaları ya bağlayın ya kaldırın.
3. Düşük değerli URL'leri taramaya kapatın. Faceted navigation kombinasyonları, parametreli URL'ler, iç arama sonuçları ve oturum kimlikli adresler bütçenin en büyük düşmanıdır. Bu desenleri robots.txt ile engelleyin; indekste kalmaması gerekenlere noindex uygulayın ve parametre üretimini mümkünse kaynağında azaltın.
4. Sitemap hijyenini koruyun. XML sitemap yalnızca 200 dönen, canonical ve indekslenebilir URL'leri içermelidir. İçinde 404, yönlendirme ya da noindex barındıran bir sitemap, botu yanlış adreslere davet eder. lastmod alanını gerçek güncelleme tarihiyle doldurun.
5. 404'leri ve 301 zincirlerini temizleyin. Her kırık link ve her zincirleme yönlendirme, bütçeden bir istek çalar. Site içi linkleri doğrudan final URL'ye verin; iki adımdan uzun yönlendirme zincirlerini tek adıma indirin.
6. Log analizi ile gerçeği ölçün. Sunucu logları, Googlebot'un bütçeyi fiilen nereye harcadığını gösteren tek kaynaktır. Hangi dizinlerin ne sıklıkla tarandığını, hangi durum kodlarının döndüğünü ve değerli sayfaların payını düzenli raporlayın. Search Console'daki Tarama İstatistikleri raporu bu analizi tamamlar.

GEO çağında tarama bütçesi

Tarama bütçesi artık yalnızca Googlebot'un konusu değildir; AI arama motorlarının crawler'ları da sitenizi kendi bütçe mantıklarıyla tarar. GPTBot ve OAI-SearchBot (OpenAI), ClaudeBot (Anthropic) ve PerplexityBot bugün pek çok sitenin loglarında Googlebot'tan sonraki en yoğun trafik kaynakları arasında görünür.

Bu botlar da sunucu yanıtlarına göre hızlarını ayarlar ve sık güncellenen, erişilebilir içeriği önceliklendirir. Yavaş yanıt veren ya da hata döndüren bir site, AI motorlarının bilgi tabanında eksik temsil edilir. Klasik tarama bütçesi optimizasyonu yapan bir site, AI crawler'ları için de hazır hale gelir; iki çalışma büyük ölçüde örtüşür.

robots.txt izinleri burada stratejik bir karara dönüşür. AI crawler'larını tamamen engelleyen bir marka, ChatGPT ve Perplexity gibi cevap motorlarında kaynak olarak görünme şansını da kapatır. Görünürlük hedefleyen siteler için makul yaklaşım, arama ve atıf amaçlı botlara (OAI-SearchBot, PerplexityBot) izin verip model eğitimi konusundaki tercihi ayrıca değerlendirmektir. Bu botların kimliklerini ve davranışlarını AI crawler botları yazısında ayrıntılı ele aldık.

Sık yapılan hatalar

Tarama bütçesi çalışmalarında en sık görülen hata, küçük sitelerin buraya gereksiz efor harcamasıdır. Birkaç yüz sayfalık bir sitenin indekslenme sorunu bütçeden değil, içerik kalitesinden ya da teknik engellerden kaynaklanır. Öncelik sırasını doğru kurmak gerekir.

• noindex ile robots.txt'yi karıştırmak. robots.txt ile engellenen sayfa taranmaz ama indeksten düşmeyebilir; noindex etiketinin görülmesi içinse sayfanın taranabilir olması gerekir. İki aracı aynı URL'de birlikte kullanmak noindex'i işlevsiz bırakır.
• Canonical etiketini bütçe aracı sanmak. Canonical bir öneridir; Googlebot canonical olmayan URL'leri taramaya devam eder. Türetilmiş URL üretimini kaynağında kesmeden yalnızca canonical ile bütçe kurtarılmaz.
• Sitemap'i güncel tutmamak. Silinen sayfaları ve yönlendirilen URL'leri sitemap'te bırakmak, botu sistematik olarak boşa koşturur.
• Log verisi olmadan karar vermek. Search Console tek başına eksik bir resim verir. Botun gerçekte neyi taradığını görmeden yapılan optimizasyon tahminden ibarettir.
• Tüm AI botlarını refleksle engellemek. Sunucu yükü gerekçesiyle robots.txt'ye eklenen genel engel, markayı AI arama sonuçlarından silebilir. Engelleme kararı bot bazında ve bilinçli verilmelidir.

Tarama bütçesi, teknik SEO'nun en ölçülebilir alanlarından biridir. Sunucu sağlığı, URL disiplini ve log analizi bir arada yürütüldüğünde hem Googlebot hem de AI crawler'ları bütçelerini sizin istediğiniz sayfalara harcar. Webtures olarak büyük ölçekli sitelerde bu çalışmayı log analizi temelli yürütüyor, tarama verisini indeksleme ve gelir metrikleriyle birlikte raporluyoruz.