Jak optymalizować Crawl Budget?

Jak optymalizować Crawl Budget?

Podstawą dobrej widoczności strony internetowej w wyszukiwarce Google jest jej indeksacja przez roboty giganta z Doliny Krzemowej. Dlatego warto też zwrócić uwagę na Crawl Budget, aby poprawić indeksowanie strony i polepszyć wyniki jej podstron w rezultatach wyszukiwania. Jeśli chcesz się dowiedzieć, co należy zrobić, aby skutecznie optymalizować Crawl Budget, to zapraszam do zapoznania się z poniższym artykułem. Miłej lektury!

Czym jest Crawl Budget?

Pojęcie Crawl Budget określa jak wiele czasu oraz mocy obliczeniowej muszą przeznaczyć roboty Google, aby dana witryna została przez nie w pełni zindeksowana.

Z racji tego, że narzędzia indeksujące najbardziej znanej wyszukiwarki na świecie każdego dnia skanują miliardy podstron, wprowadzono ograniczenia, których zadaniem jest usprawnienie działania botów przy jednoczesnym zmniejszeniu wykorzystania mocy obliczeniowej. Z tego powodu odpowiednia optymalizacja na podstawie SEO może się przełożyć na lepsze pozycjonowanie.

Jak sprawdzić statystyki indeksowania?

Wszelką aktywność robotów Google na stronie internetowej można obserwować za sprawą Search Console. Znajdują się one w zakładce indeksowanie. Dane te pozwalają na oszacowanie budżetu indeksacji dla danej witryny. Do takich wskaźników zalicza się liczba stron indeksowanych, która informuje ile adresów URL zostało odwiedzonych przez roboty Google na stronie. Parametr ten ukazuje w jakim stopniu strona internetowa jest przyjazna dla Googlebota.

Jak zoptymalizować crawl budget? Statystyki indeksowania

Dlaczego warto dbać o Crawl Budget?

W przypadku, gdy dana strona internetowa posiada wiele podstron, na które przyporządkowane są odmienne adresy URL, indeksacja odbędzie się dość szybko. Problem rozpoczyna się, kiedy na witrynę przypada kilka tysięcy podstron, a kolejne pojawiają się bardzo regularnie. Wtedy należy zagłębić się w Crawl Budget i podjąć działania mające poprawić indeksację i funkcjonowanie strony.

Na Crawl Budget wpływa kilka czynników:

  • crawl rate limit – czyli ograniczenie dotyczące liczby podstron, które odwiedzają roboty wyszukiwarek w krótkim czasie;
  • crawl demand – to potrzeba ponownej indeksacji strony w wyniku np. zwiększonej częstotliwości aktualizacji treści oraz wzrostu popularności;
  • crawl health – oznacza niski czas odpowiedzi serwera;
  • rozmiar strony – ilość podstron znajdujących się na witrynie;
  • waga pojedyńczej strony– wykorzystanie kodu JavaScript powoduje sytuację, w której strony internetowe wykorzystują więcej Crawl Budget.

Etapy optymalizacji Crawl Budget

Pozwól na indeksację Twoich najważniejszych stron w pliku robots.txt

To pierwszy i jednocześnie najważniejszy etap optymalizacji. Zadaniem wspomnianego pliku jest przekazywanie informacji robotom wyszukiwarek o tym, które pliki oraz strony mają zostać indeksowane. Zarządzanie plikiem robots.txt może być realizowane ręcznie lub z wykorzystaniem narzędzia do audytu witryn.

Wystarczy jedynie skierować robots.txt do wskazanego przez użytkownika narzędzia (oczywiście, jeśli istnieje taka możliwość). Umożliwi to akceptację lub blokadę indeksacji dowolnej strony zarządzanej przez właściciela witryny. Ostatnim krokiem jest wgranie edytowanego dokumentu.

Uważaj na łańcuchy przekierowań

Uniknięcie przynajmniej jednego łańcucha przekierowań na domenie można już uznać za sukces. W przypadku dużych stron internetowych jest to wręcz niemożliwe, aby nie natrafić na przekierowanie 301 i przekierowanie 302.

Trzeba mieć jednak świadomość, że przekierowania połączone ze sobą łańcuchami mogą spowodować zatrzymanie indeksacji w pewnym momencie. W rezultacie wyszukiwarka może nie indeksować strony, na której użytkownikowi zależy. Jedno lub dwa przekierowania nie powinny zaszkodzić w prawidłowym funkcjonowaniu strony. Warto mimo wszystko w takich sytuacjach trzymać rękę na pulsie.

Jak zoptymalizować crawl budget? Łancuchy przekierowań

Wykorzystuj HTML w jakim stopniu to możliwe

W obecnej chwili można powiedzieć, że narzędzie indeksujące Google rozwinęło się pod względem indeksacji języków JavaScript, Flash oraz XML. Należy też brać pod uwagę fakt, że nie ma, na razie konkurencyjnych wyszukiwarek pod tym względem. Dlatego jeśli tylko jest to możliwe, powinno się pozostać przy korzystaniu z języka HTML. Dzięki temu można być pewnym, że nie zaburzymy pracy Googlebota.

Nie dopuszczaj do tego, by błędy pochłaniały Twój Crawl Budget

Błędy 404 i 410 zjadają się wzajemnie w Twoim Crawl Budget. Jeśli to nie jest wystarczająco problematyczne to martwić może też negatywny wpływ na User Experience.

Dlatego sugerowanym wyjściem z tej sytuacji jest naprawa wszystkich kodów statusu 4xx oraz 5xx. W takich przypadkach warto skłonić się w kierunku użycia narzędzi umożliwiających przeprowadzenie audytu strony internetowej. Do takich właśnie zaliczamy SE Ranking, a także Screaming Frog.

Optymalizacja crawl budget - screaming frog

Dbaj o parametry adresu URL

Należy pamiętać, że osobne adresy URL uznawane i jednocześnie liczone są przez roboty wyszukiwarki za oddzielne strony. Przez to marnowany jest Crawl Budget. Ponowne powiadomienie Google o wspomnianych parametrach URL sprawi, że zostanie zaoszczędzony Crawl Budget i uniknie wątpliwości o powielanie treści. Warto pamiętać, aby dodać adresy URL do konta w Search Console.

Aktualizuj sitemapę

Ten krok sprawi, że boty będą miały ułatwione i skrócone w czasie zrozumienie, dokąd kierowane są wewnętrzne linki. Podstawą sukcesu jest również odpowiednia konfiguracja sitemapy.

Korzystaj z adresów kanonicznych

Wskazane jest korzystanie z adresów URL, które są kanoniczne dla sitemapy strony internetowej. Dodatkowo powinno się sprawdzić, czy sitemapa jest odpowiednia do najnowszej załadowanej wersji pliku robots.txt.

Używanie tagów hreflang popłaca

W przypadku analizy stron o różnych wersjach językowych roboty Google wykorzystują hreflangi. Powinno się powiadamiać Google o zlokalizowanych wersjach strony tak dokładnie, jak to tylko możliwe.

Przede wszystkim trzeba użyć formuły <link rel="alternate" hreflang="lang_code" href="url_of_page" /> w nagłówku zarządzanej strony. Gdzie “lang_code” jest kodem obsługiwanego języka. Na koniec nie można pominąć elementu <loc>, dla danego adresu URL. Umożliwia to wskazanie zlokalizowanych wersji witryny.

W jaki sposób powiększyć Crawl Budget?

  • Budowa odpowiedniej architektury strony i redukcja występujących na niej błędów.
  • W przypadku występowania sekcji na stronie internetowej, które nie muszą znajdować się w Google, należy zablokować je za pomocą pliku robots.txt.
  • Ograniczenie ilości łańcuchów przekierowań.
  • Zdobywanie większej ilości linków w celu tworzenia dobrego PR-u.
  • Stosowanie Accelerated Mobile Pages (AMP).

Korzystanie z Accelerated Mobile Pages (AMP) może nieść ze sobą zalety oraz wady. W przypadku tych pierwszych można odnotować zwiększoną konwersję, występowanie oznaczeń specjalnych oraz zwiększenie widoczności publikowanych treści. Wśród wad znajdują się ograniczenia związane z wykorzystywaniem języka JavaScript, ponadto wiąże się to z dużym kosztem oraz ilością pracy podczas wdrożenia.

Podsumowanie

Optymalizacja Crawl Budget niesie ze sobą wiele korzyści dla zwiększenia widoczności sklepów internetowych. Właściciele e-przedsiębiorstw mogą po zastosowaniu wszystkich wymienionych wskazówek otrzymać zaskakujące efekty. Ingerencja w Crawl Budget może przynieść wiele korzyści związanych z poprawą indeksowania witryny. Najważniejszymi z nich jest wzrost pozycji podstron indeksowanej strony w wyszukiwarce, a co za tym idzie możliwość polepszenia sytuacji dotyczącej sprzedaży dostępnych produktów i usług. Oczywiście to wszystko zależne jest od poświęconego czasu i odpowiednich nakładów pracy.

FAQ

Crawl Budget jest nazywany również współczynnikiem indeksacji. Informuje, jak wiele czasu oraz mocy obliczeniowej potrzebują roboty Googla do zaindeksowania konkretnej witryny. W rezultacie można przeanalizować liczbę podstron, które znalazły się w indeksie wyszukiwarki, a także sprawdzić, jak często jest ona poddawana indeksacji.

Wśród czynników, które mają wpływ na Crawl Budget wyróżnia się:

  • crawl rate limit
  • crawl health
  • crawld demand
  • rozmiar strony,
  • zastosowanie kodu Java Script.

Optymalizacja Crawl Budget powinna uwzględniać następujące elementy:

  • zezwolenie na indeksację w robots.txt,
  • skrócenie łańcucha przekierowań,
  • korzystanie z języka HTML,
  • eliminacja błędów na stronie itd.

Optymalizację Crawl Budget w szczególności zaleca się sklepom internetowym. To właśnie w głównej mierze poprawna widoczność wpływa na ich funkcjonowanie. Dlatego też warto się jej podejmować, jeśli się chce mieć wpływ na lepszą widoczność indeksowanych podstron w wyszukiwarce. Rezultatem tych działań może być pozytywne oddziaływanie na sprzedaż oferowanych produktów i usług. Niemniej jednak Crawl Budget nie dotyczy jedynie obszaru e-commerce. Każdy posiadacz strony internetowej, niezależnie od posiadanej treści, jeśli chce plasować się wyżej w sieci, powinien poświęcić swój czas na poprawienie współczynnika indeksacji.

Crawl Budget ma wpływ na szybką indeksację strony. Szczególnie w przypadku, gdy dodawane są nowe podstrony lub stare poddaje się aktualizacji. Rozwiązuje to między innymi problem utraty potencjalnego ruchu ze stron nie objętych jeszcze crawlingiem. Zwiększenie jakości poszczególnych stron, a w rezultacie poprawa na nich ruchu może przyczynić się do lepszego ich indeksowania.

(6)
Autor
Junior SEO Specialist - Przemek

Junior SEO Specialist

Do zespołu SEO w Delante dołączył w listopadzie 2019. Obecnie student drugiego stopnia na kierunku Marketing i Komunikacja Rynkowa. W SEO podoba mu się fakt, że każdego dnia potrafi go zaskoczyć. Uwielbia słuchać muzyki niemal w każdej postaci. Od dziecka jest sportowym pasjonatem, czego potwierdzeniem są godziny spędzone na oglądaniu wydarzeń sportowych. Marzy, by w przyszłości zostać testerem słodyczy, póki co zajmuje się tym nieodpłatnie.
Komentarze (1)

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

Ostatnio na naszym blogu

Jesteś ciekawy, jak wygląda pozycjonowanie sklepów internetowych, a może chcesz wejść na rynek szwajcarski i ciekawi Cię, jak wygląda pozycjonowanie zagraniczne? Na naszym blogu znajdziesz odpowiedzi na te pytania i wiele innych porad ważnych dla rozwoju Twojego biznesu

10 pytań i odpowiedzi o SEO

10 pytań i odpowiedzi o SEO

Czy w SEO odpowiedzią na każde pytanie jest “to zależy”? Wojciech Urban udowadnia, że nie zawsze! Zebraliśmy 10 najczęściej powtarzających się pytań o SEO i nagraliśmy krótkie filmiki z odpowiedziami. Możesz ich posłuchać na naszym kanale na YouTube lub przeczytać transkrypcję na naszym blogu. 

Czytaj więcej
Jak dodać firmę do Google Maps?

Jak dodać firmę do Google Maps?

Jeśli chcesz, aby Twoja firma była dobrze widoczna w sieci, wykorzystaj możliwości wizytówki Google Moja Firma. Jej posiadanie pozytywnie wpływa nie tylko na wizerunek, ale również pozycjonowanie strony. Podpowiadamy, jak dodać firmę do Google Maps. Dzięki temu przy niewielkim wysiłku zyskasz liczne korzyści dla swojego biznesu.

Czytaj więcej