Crawl budget
Co to jest crawl budget?
Crawl budget (inaczej: budżet indeksowania, współczynnik indeksacji) to czynnik, który określa, jak wiele zasobów – czasu i mocy obliczeniowej – roboty Googla poświęcą, aby zindeksować daną witrynę. Przekłada się to na liczbę podstron dodanych do indeksu wyszukiwarki oraz na częstotliwość indeksowania. Na współczynnik indeksacji wpływają m.in:
- crawl rate limit – limit liczby podstron odwiedzanych w krótkim czasie przez roboty wyszukiwarek
- crawl health – niski czas odpowiedzi serwera, poprawne kody odpowiedzi, szybkość ładowania
- crawl demand – zapotrzebowanie na ponowną indeksację, zależne m.in. od częstotliwości aktualizacji treści, popularności witryny
- rozmiar strony, zastosowanie kodu Java Script – strony z JS zużywają więcej budżetu indeksowania
Gdzie mogę sprawdzić crawl budget mojej strony?
W starej wersji Google Search Console, w sekcji: Skanowanie możemy otworzyć panel: Statystyki indeksowania. Zobaczymy tam trzy wykresy, przedstawiające:
- liczbę dziennie indeksowanych podstron,
- liczbę kilobajtów danych pobranych dziennie przez crawlery,
- czas spędzony na pobieraniu strony.
Są to dane z okresu ostatnich 90 dni. W oparciu o nie możemy określić, jak zmienił się nam crawl budget w tym czasie.
