Tarama Bütçesi Optimizasyonu

Tarama Bütçesi (Crawl Budget) Optimizasyonu

1000 453 Oğuz Karaoğlan

Her web sitesi için Google botları, sayfa tarama sayısı ve tarama talebi konusunda sabit bir bütçeye sahiptir. Çünkü internet büyük bir yer ve Googlebot web sitelerini taramak ve dizine eklemek için çok fazla zaman ve enerji harcar. Tarama bütçesi optimizasyonu ise web sitelerinin doğru sayfalarının, Google’ın dizininde yer almasını ve arama yapanlara gösterilmesini sağlamak için yapılır.

Tarama bütçesinin nasıl harcandığını kontrol etmek ve etkin bir şekilde kullanımını sağlamak, uygulaması zaman alan teknik bir optimizasyondur. Ancak çok sayfalı siteler ve e-ticaret siteleri için tarama bütçesini en iyi şekilde optimize etmek, harcadığınız efora karşılık verecektir. Birkaç ince ayar ile site sahipleri ve SEO uzmanları, Googlebot’a en iyi performans gösteren sayfalarını düzenli olarak tarama ve dizine ekleme konusunda yol gösterebilir. Çünkü tarama bütçesi optimizasyonunun amacı budur.

Google Tarama Bütçesini Nasıl Belirler?

Tarama bütçesi, esasen Google’ın web sitenizi taramak için harcamak istediği zaman ve kaynaklardır. Denklem aşağıdaki gibidir:

Tarama Bütçesi = Tarama Oranı + Tarama Talebi

Domain otoritesi, backlinkler, site hızı, tarama hataları ve açılış sayfalarının sayısı bir web sitesinin taranma hızını etkiler. Daha büyük siteler genellikle daha yüksek bir tarama hızına ve oranına sahipken, daha küçük siteler, daha yavaş siteler veya aşırı yönlendirme ve sunucu hataları olan siteler genellikle daha az taranır.

Google ayrıca tarama bütçesini “tarama talebi” ile belirler. Google, kullanıcılara en yeni içeriği sağlamak istediği için popüler URL’ler daha yüksek bir tarama talebine sahiptir ve dizinindeki eski içeriği sevmez. Bu nedenle bir süredir taranmamış sayfalar da daha fazla talep görecektir. Örneğin, Web siteniz bir alan adı değişikliğine giderse; Google, dizinini yeni URL adresleriniz ile daha hızlı güncellemek için tarama talebini artıracaktır.

Web sitelerinin tarama bütçesi dalgalanabilir ve kesinlikle sabit değildir. Hosting veya site hızınızı artırırsanız; Googlebot, kullanıcıların web deneyimini yavaşlatmadığınızı bildiği için sitenizi daha sık taramaya başlayabilir. Sitenizin mevcut ortalama tarama hızı hakkında daha iyi fikir edinmek için Google Search Consoel (GSC) Tarama İstatistikleri Raporunuza göz atabilirsiniz.

Tarama İstatistikleri

Hangi Web Siteleri Tarama Bütçesine Dikkat Etmelidir?

Yalnızca birkaç sayfa ile sıralama almaya odaklanan daha küçük web sitelerinin, tarama bütçesi konusunda endişelenmesine gerek yoktur. Ancak daha büyük web siteleri, özellikle de aşırı bozuk sayfalara ve yönlendirmelere sahip sağlıksız siteler, tarama limitlerine kolayca ulaşabilir.

Tarama bütçelerini en üst düzeye çıkarma (sınıra ulaşma) riskiyle karşı karşıya olan büyük web siteleri genellikle on binlerce açılış sayfasına sahiptir. Özellikle büyük e-ticaret siteleri tarama bütçesi optimizasyonu yapılmamasından olumsuz etkilenir. Bunun birçok örneği ile karşılaştım ve gereksiz sayfaların uçurulmasında pilotluk yaptım 🙂

Tarama Bütçesi Optimizasyonu Nasıl Yapılır?

Hepimiz genel olarak iyi bütçe yönetiminin harcama limitlerinizi artırmak ile ilgili olmadığını biliyoruz. Yani paranızı harcadığınız meta konusunda daha seçicisinizdir. Bu aynı konsepti tarama bütçesi optimizasyonu için uyguladığınızda çok iyi sonuçlar elde edebilirsiniz. Google’ın, tarama bütçenizi, lehinize harcamasına yardımcı olacak, birkaç stratejik adımı aşağıda inceleyebilirsiniz.

1. Google sitenizde hangi sayfaları tarıyor?

Yakın zamana kadar, GSC’nin tarama raporu, site sahiplerine yalnızca sitelerinin belirli günlerde kaç tarama isteği aldığını raporluyordu. Yeni Google Tarama İstatistikleri Raporu ise tarama hakkında çok daha ayrıntılı bilgi sağlamaktadır. Ayrıca sitenizin log dosyaları da tarama hakkında bilgi almak için iyi bir seçenektir. Log dosyaları analizi hakkında bir yazı yazmayı planlıyorum ve yazdığımda buradan link vermiş olurum.

Tarama İstekleri

Google web sitenizi ziyaret ettiğinde belirli bir User-agent kullanır. Bu, sunucunuzun istek atanın gerçek bir kişi değil, aslında Googlebot olduğunu bilmesini sağlar.

Log dosyasını inceleyerek aşağıdaki sorulara cevap alabiliriz.

  • Googlebot’lar hangi sayfaları ziyaret etti?
  • Googlebot günde kaç sayfa taradı?
  • Taranan sayfalardan herhangi biri 404 dönüyor mu?

İdeal olarak, Google’ın web sitenizdeki yüksek değerli anahtar kelimeler için optimize edilmiş açılış sayfalarını taramasını istersiniz. Ayrıca web siteleri, soft 404 sayfalar ile asla tarama bütçesini boşa harcamamalıdır. GSC yalnızca soft 404 hatalarınızın bazılarını gösterir, ancak hepsini log dosyalarınızı inceleyerek tespit edebilirsiniz.

Bu dosyaları tespit ettikten sonra aşağıdaki uygulama adımlarına geçebilirsiniz.

  • Noindex Optimizasyonu: Googlebot soft 404 sayfaları veya bozuk sayfaları tarıyorsa, Googlebot’un bu sayfaları taramasını ve dizine eklemesini önlemek için yapılacak ilk iş meta etiketlerini [noindex, nofollow] düzenlemek olmalıdır.
  • Sitemap (Site Haritası) Optimizasyonu: Log dosyalarınız, Google’ın, potansiyel olarak yüksek performanslı sayfalarınızı taramadığını gösteriyorsa, tarandıklarından emin olmak için onları site haritanızda daha yukarılara taşımalısınız. Ya da sitemap dosyanızın xml kodundaki <priority> kodunu optimize ederek önemli sayfalarınıza öncelik verebilirsiniz.

2. Hangi Sayfalar Taranmalı ve Dizine Eklenmelidir?

Kurumsal düzeydeki birçok web sitesinin tarama bütçesini boşa harcamasının birincil nedeni, Google’ın sitelerindeki her açılış sayfasını taramasına izin vermeleridir. Bu bir hatadır, çünkü tüm açılış sayfalarımız sıralanmayacaktır.

Şu soruyla başlayalım: “Google’ın dizininde bir açılış sayfasına sahip olmanın değeri nedir?” Sıralama ve dönüştürme. Web sitenizde, birden fazla anahtar kelime için sıralama almayacak veya site ziyaretçilerini potansiyel müşterilere ve gelire dönüştüremeyecek açılış sayfaları varsa, neden Google’ın bunları taramasına izin veresiniz ki? Bunu odak olarak düşünebilirsiniz. Siz Google’ın belirli sayfalara odaklanmasını istiyorsunuz ve az önce belirtilen kalitedeki sayfalar odağın kaymasına neden olacaktır.

Öte yandan web sitenizin yüksek sıralama ve dönüşüm potansiyeline sahip açılış sayfaları, tarama bütçesini kullanmaya değecek sayfalardır. Bu odak sayfaları Googlebot’un taraması ve indekslemesi için şu optimizasyonları yapabilirsiniz;

  • Sayfa sayısı optimizasyonu: Site haritanızdaki sayfa sayısını azaltın. Yalnızca, gerçekten sıralama ve organik trafik alma şansı yüksek olan sayfalara odaklanın.
  • Kalitesiz sayfa optimizasyonu: Düşük performans gösteren veya gereksiz sayfaları silin. Sıralaması, dönüşümü veya işlevsel amacı olmayan sayfaları kaldırın.
  • İçerik birleştirme optimizasyonu: Kalitesiz ve içerik bakımından zayıf olan sayfaları belirleyip alakalı olanları birleştirmeli ve bu eski URL adresleri yeni oluşturulan sayfaya yönlendirilmelidir. Yönlendirmeler tarama bütçesinin bir kısmını tüketir. Bu nedenle bunları dikkatli bir şekilde kullanmalıdır ve arka arkaya iki kez yönlendirme yapılmamalıdır.

Sitede yer alan içeriği kaldırmak her zaman site sahipleri için zor olmuştur. Yazılışı hatırlanan o güzide içerikler (özellikle blog yazıları…) Google için hiçbir anlam ifade etmeyebilir. Bu yüzden tarama bütçesini akıllıca kullanabilmek için trafik almayan sayfalar Google dizininden kaldırılmalıdır.

3. Yüksek Performanslı ve Kaliteli Sayfaların Daha Fazla Taranması Nasıl Sağlanır?

Yukarıdaki optimizasyon işlemleri tamamlandıktan sonra, Google tarama bütçesini web sitenizin doğru sayfalarına harcamaya başlayacaktır.

Ancak bu bütçeyi gerçekten en üst düzeye çıkarmak için sayfalarınızı iç linklemeler ile doğru şekilde sıralanması gerekir. Gelişmiş bir teknik strateji ise potansiyel olarak yüksek performanslı sayfaları daha fazla taranır hale getirmek için iç linklemeleri kullanmaktır. Böylece sayfalarınızın dahili bağlantılar aracılığı ile PageRank değerini yükseltebilirsiniz.

Peki PageRank Nasıl Çalışır?

PageRank her sayfanın sahip olduğu algoritmik bağlantı ve kalite değeridir. Bu değer diğer sayfalarınızdan gelen bağlantılar ile yükseltilebilir. Aşağıdaki gif ise Pagerank’i oldukça iyi açıklamaktadır.

PageRank Nasıl Çalışır?

Binlerce açılış sayfası olan büyük bir web siteniz varsa daha iyi PageRank dağıtımı için web sitenizin dahili bağlantı profilini optimize etmelisiniz. Yani dönüşüm sağlayacak önemli sayfalarınız en çok iç bağlantıyı alan sayfalar olmalıdır. PageRank’i şekillendirmek ve optimize etmek için fayda sağlayacak iki strateji ise şunlardır;

  1. Web sitenizde trafiği iyi olan ancak yeterli PageRank’e sahip olmayan sayfaları tespit edin. Bu sayfalara point eden dahili bağlantı ekleyerek daha fazla PageRank değeri gönderin. (Örneğin, bir kadın tekstil ürünleri satan e-ticaret sitesi için bu elbise kategorisi olabilir.) Bu sayfalara bağlantı eklemek için web sitenizin navigasyon menüsüne veya footer alanını kullanabilirsiniz. Fakat aşırıya kaçmamak gerekiyor. İç bağlantı optimizasyonunu yaptıktan sonra Google Search Console > Bağlantılar > İç Bağlantılar tablosunu kontrol edebilirsiniz. (Düzenleme yapıldıktan sonra değişim GSC’ye hemen yansımayacağı için kontrolü bir hafta kadar sonra yapabilirsiniz.)
İç Bağlantılar
  1. Çok sayıda dahili bağlantıya sahip ancak çok az anahtar kelime hacimleri olan, arama gösterimi düşük ve sıralama elde etmeyen sayfaları tespit edin. Çünkü çok sayıda dahili bağlantı alan sayfalar genellikle çok fazla PageRank içerir. Bu PageRank’i ibreyi gerçekten hareket ettirebilecek sayfalara taşımak daha iyi olacaktır.

Dahili bağlantı yapısını doğru yapmak gelir getirecek sayfaların sıralamasının iyileşmesine katkı sağlar. Sonuç olarak; tarama bütçesini, dönüşüm oranı yüksek ve gelirinizi artıracak sayfalara doğru yönlendirmek gerekir.

Tarama bütçesi optimizasyonunu yaptıktan sonra iyileştirilmiş sayfalar için anahtar kelime sıralamalarına bakabilir ve değişim olup olmadığını gözlemleyebilirsiniz. Bu sayfalar için sıralama iyileşirse, tarama bütçesi optimizasyonu işe yaramış demektir. Ayrıca yeni sayfalar oluştururken de tarama bütçenizi tüketmeyi hak edip etmedikleri konusunda artık daha seçici olmanız gerekiyor.

Unuttuğum, gözden kaçırdığım veya yanlış olduğunu düşündüğünüz bir durum varsa benimle paylaşmanızı isterim. Böylece hem konu hakkında konuşabilir hem de bilgi alışverişinde bulunabiliriz. Bilginin paylaştıkça çoğaldığını düşünüyor ve bir konuya farklı pencerelerden bakan insanların tecrübelerini paylaşmasını çok değerli buluyorum. Çünkü bu her birimizi bir adım ileriye taşıyacaktır. 🙂