AI Crawler Botları: GPTBot, PerplexityBot ve ClaudeBot Rehberi
AI crawler botları nedir? GPTBot, PerplexityBot ve ClaudeBot erişimini robots.txt ile yönetin; AI cevaplarında alıntılanmak için doğru stratejiyi kurun.
AI crawler botları, yapay zekâ şirketlerinin web içeriğini keşfetmek, almak ve cevaplarında kullanmak için çalıştırdığı tarayıcılardır. GPTBot, PerplexityBot, ClaudeBot ve Google-Extended bunların en bilinenleridir. Klasik arama botlarından farkları şudur: topladıkları içerik sıralama için değil, model eğitimi ya da gerçek zamanlı cevap üretimi için kullanılır. AI cevaplarında alıntılanmak istiyorsanız bu botların sitenize erişimini bilinçli yönetmeniz gerekir. Bu rehberde başlıca AI crawler'ları, erişim yönetimini ve doğru izin stratejisini ele alıyoruz.
AI crawler botları nedir?
AI crawler'lar, dil modeli tabanlı sistemlerin web'den bilgi toplamasını sağlayan otomatik tarayıcılardır. Googlebot gibi klasik tarayıcılar sayfaları indeksleyip sıralamak için tararken, AI crawler'lar iki farklı amaçla çalışır:
- Eğitim taraması: İçerik, gelecekteki model sürümlerinin eğitim verisine katılmak üzere toplanır (örnek: GPTBot, Google-Extended).
- Cevap taraması (retrieval): İçerik, kullanıcının sorusuna o anda cevap üretmek için çekilir ve kaynak olarak alıntılanır (örnek: OAI-SearchBot, PerplexityBot).
Bu ayrım stratejik olarak kritiktir: eğitim taramasına izin vermek bir tercih meselesiyken, cevap taramasını engellemek sizi AI cevaplarından tümüyle çıkarır. Görünürlük hedefleyen markalar için ikinci grup vazgeçilmezdir.
Başlıca AI crawler botları hangileri?
2026 itibarıyla erişim kararı verirken tanımanız gereken botlar şunlardır:
| Bot | Sahibi | Amacı |
|---|---|---|
| GPTBot | OpenAI | Model eğitimi için içerik toplama |
| OAI-SearchBot | OpenAI | ChatGPT arama cevapları için retrieval |
| ChatGPT-User | OpenAI | Kullanıcı adına anlık sayfa ziyareti |
| PerplexityBot | Perplexity | Cevap motoru kaynağı ve alıntı |
| ClaudeBot | Anthropic | Model eğitimi ve retrieval |
| Google-Extended | Gemini eğitim tercihi (indekslemeden bağımsız) | |
| Bingbot | Microsoft | Bing indeksi; ChatGPT retrieval'ını da besler |
Önemli bir nüans: Google-Extended'ı engellemek Google aramadaki sıralamanızı etkilemez; yalnızca içeriğinizin Gemini eğitiminde kullanılmasını kapatır. Bingbot'u engellemek ise hem Bing'i hem de Bing indeksinden beslenen ChatGPT aramasını birlikte kaybettirir.
AI botlarına erişim robots.txt ile nasıl yönetilir?
Erişim yönetiminin standart aracı robots.txt dosyasıdır. Her bot, kendi user-agent adıyla hedeflenir:
- İzin vermek için: Botu ayrıca engellemediğiniz sürece
User-agent: *altındaki genel kurallar geçerlidir; alıntılanmak istiyorsanız bu genellikle yeterlidir. - Seçici engellemek için:
User-agent: GPTBot+Disallow: /yalnızca o botu kapatır. - Tercih bildirmek için: Content-Signal gibi yeni nesil direktifler, tarama iznini korurken kullanım tercihini (eğitim, arama, cevap) ayrıştırmanıza izin verir.
Dikkat edilmesi gereken teknik ayrıntı: bot-özel bir kural grubu tanımladığınızda, o bot artık User-agent: * grubundaki kuralları okumaz. Genel gruptaki Disallow satırlarınız varsa bunları bot-özel gruba da kopyalamanız gerekir; aksi hâlde gizli tutmak istediğiniz dizinler o bota açılır. Erişim izni tek başına yeterli değildir; botların neyi okuması gerektiğini de llms.txt dosyası ile gösterirsiniz.
İzin mi, engel mi? Karar çerçevesi
Doğru cevap her marka için aynı değildir; üç soruyla netleşir:
- AI cevaplarında görünmek istiyor musunuz? Evetse retrieval botlarına (OAI-SearchBot, PerplexityBot) erişim şarttır. Engellenen içerik alıntılanamaz.
- İçeriğiniz model eğitiminde kullanılsın mı? Bu bir telif ve strateji tercihidir. Eğitim botlarını (GPTBot, Google-Extended) kapatıp cevap botlarını açık tutmak mümkündür.
- Hangi içerik korunmalı? Ücretli içerik, müşteri panelleri ve kişisel veri içeren sayfalar her bot için kapalı tutulmalıdır; ayrım "hangi bot" değil "hangi içerik" üzerinden de kurulur.
Görünürlük odaklı yaygın strateji şudur: cevap ve arama botlarına tam erişim, eğitim kullanımına tercih düzeyinde sınır, hassas dizinlere evrensel engel. Erişim kararlarının tam listesi için GEO kontrol listemizdeki AI keşfedilebilirliği maddelerine bakabilirsiniz.
Sık yapılan hatalar
- Tüm AI botlarını refleksle engellemek: Eğitim endişesiyle retrieval botlarını da kapatmak, markayı AI cevaplarından silen en yaygın hatadır.
- Bot-özel grubun yan etkisini unutmak: Tek bir bota özel kural yazarken genel Disallow'ları kopyalamamak, korunan dizinleri o bota açar.
- Bingbot'u küçümsemek: ChatGPT retrieval'ı Bing indeksine dayanır; Bing'de görünmeyen içerik ChatGPT aramasında da zayıf kalır.
- Doğrulamamak: robots.txt değişikliği sonrası sunucu loglarında bot ziyaretlerini kontrol etmemek; kural yazım hatası aylarca fark edilmeyebilir.
- Tek dosyada bırakmak: Erişim izni, alıntılanabilir içerik ve schema olmadan sonuç üretmez. Bütüncül çerçeve için AI arama optimizasyonu rehberimizi inceleyin.
Webtures yaklaşımı
Webtures, AI bot erişimini görünürlük stratejisinin parçası olarak yönetir: kendi sitemizde cevap ve arama botlarına tam erişim tanıyor, kullanım tercihlerimizi Content-Signal ile bildiriyor, llms.txt ile botlara içerik haritası sunuyoruz. Müşterilerimizde de aynı modeli kurar, log analiziyle bot davranışını doğrular ve erişim kararlarını ölçülebilir alıntılanma hedeflerine bağlarız. Sitenizin AI botlarına hazırlığını değerlendirmek için GEO danışmanlığı ekibimizle iletişime geçebilirsiniz.
Bizimle çalışmak ister misiniz ?
Hedeflerinizi anlatın, markanıza özel bir büyüme planıyla en kısa sürede geri dönelim. Bir strateji uzmanı sizi en geç bir iş günü içinde arayacaktır.
İletişime Geçin
