Jak optymalizować Crawl Budget?

Czym jest Crawl Budget?

Z racji tego, że narzędzia indeksujące najbardziej znanej wyszukiwarki na świecie każdego dnia skanują miliardy podstron, wprowadzono ograniczenia, których zadaniem jest usprawnienie działania botów przy jednoczesnym zmniejszeniu wykorzystania mocy obliczeniowej. Z tego powodu odpowiednia optymalizacja na podstawie SEO może się przełożyć na lepsze pozycjonowanie.

Jak sprawdzić statystyki indeksowania?

Wszelką aktywność robotów Google na stronie internetowej można obserwować za sprawą Search Console. Znajdują się one w zakładce indeksowanie. Dane te pozwalają na oszacowanie budżetu indeksacji dla danej witryny. Do takich wskaźników zalicza się liczba stron indeksowanych, która informuje ile adresów URL zostało odwiedzonych przez roboty Google na stronie. Parametr ten ukazuje w jakim stopniu strona internetowa jest przyjazna dla Googlebota.

Dlaczego warto dbać o Crawl Budget?

W przypadku, gdy dana strona internetowa posiada wiele podstron, na które przyporządkowane są odmienne adresy URL, indeksacja odbędzie się dość szybko. Problem rozpoczyna się, kiedy na witrynę przypada kilka tysięcy podstron, a kolejne pojawiają się bardzo regularnie. Wtedy należy zagłębić się w Crawl Budget i podjąć działania mające poprawić indeksację i funkcjonowanie strony.

Na Crawl Budget wpływa kilka czynników:

• crawl rate limit – czyli ograniczenie dotyczące liczby podstron, które odwiedzają roboty wyszukiwarek w krótkim czasie;
• crawl demand – to potrzeba ponownej indeksacji strony w wyniku np. zwiększonej częstotliwości aktualizacji treści oraz wzrostu popularności;
• crawl health – oznacza niski czas odpowiedzi serwera;
• rozmiar strony – ilość podstron znajdujących się na witrynie;
• waga pojedyńczej strony– wykorzystanie kodu JavaScript powoduje sytuację, w której strony internetowe wykorzystują więcej Crawl Budget.

Etapy optymalizacji Crawl Budget

Pozwól na indeksację Twoich najważniejszych stron w pliku robots.txt

To pierwszy i jednocześnie najważniejszy etap optymalizacji. Zadaniem wspomnianego pliku jest przekazywanie informacji robotom wyszukiwarek o tym, które pliki oraz strony mają zostać indeksowane. Zarządzanie plikiem robots.txt może być realizowane ręcznie lub z wykorzystaniem narzędzia do audytu witryn.

Wystarczy jedynie skierować robots.txt do wskazanego przez użytkownika narzędzia (oczywiście, jeśli istnieje taka możliwość). Umożliwi to akceptację lub blokadę indeksacji dowolnej strony zarządzanej przez właściciela witryny. Ostatnim krokiem jest wgranie edytowanego dokumentu.

Uważaj na łańcuchy przekierowań

Uniknięcie przynajmniej jednego łańcucha przekierowań na domenie można już uznać za sukces. W przypadku dużych stron internetowych jest to wręcz niemożliwe, aby nie natrafić na przekierowanie 301 i przekierowanie 302.

Trzeba mieć jednak świadomość, że przekierowania połączone ze sobą łańcuchami mogą spowodować zatrzymanie indeksacji w pewnym momencie. W rezultacie wyszukiwarka może nie indeksować strony, na której użytkownikowi zależy. Jedno lub dwa przekierowania nie powinny zaszkodzić w prawidłowym funkcjonowaniu strony. Warto mimo wszystko w takich sytuacjach trzymać rękę na pulsie.

Wykorzystuj HTML w jakim stopniu to możliwe

W obecnej chwili można powiedzieć, że narzędzie indeksujące Google rozwinęło się pod względem indeksacji języków JavaScript, Flash oraz XML. Należy też brać pod uwagę fakt, że nie ma, na razie konkurencyjnych wyszukiwarek pod tym względem. Dlatego jeśli tylko jest to możliwe, powinno się pozostać przy korzystaniu z języka HTML. Dzięki temu można być pewnym, że nie zaburzymy pracy Googlebota.

Nie dopuszczaj do tego, by błędy pochłaniały Twój Crawl Budget

Błędy 404 i 410 zjadają się wzajemnie w Twoim Crawl Budget. Jeśli to nie jest wystarczająco problematyczne to martwić może też negatywny wpływ na User Experience.

Dlatego sugerowanym wyjściem z tej sytuacji jest naprawa wszystkich kodów statusu 4xx oraz 5xx. W takich przypadkach warto skłonić się w kierunku użycia narzędzi umożliwiających przeprowadzenie audytu strony internetowej. Do takich właśnie zaliczamy SE Ranking, a także Screaming Frog.

Dbaj o parametry adresu URL

Należy pamiętać, że osobne adresy URL uznawane i jednocześnie liczone są przez roboty wyszukiwarki za oddzielne strony. Przez to marnowany jest Crawl Budget. Ponowne powiadomienie Google o wspomnianych parametrach URL sprawi, że zostanie zaoszczędzony Crawl Budget i uniknie wątpliwości o powielanie treści. Warto pamiętać, aby dodać adresy URL do konta w Search Console.

Aktualizuj sitemapę

Ten krok sprawi, że boty będą miały ułatwione i skrócone w czasie zrozumienie, dokąd kierowane są wewnętrzne linki. Podstawą sukcesu jest również odpowiednia konfiguracja sitemapy.

Korzystaj z adresów kanonicznych

Wskazane jest korzystanie z adresów URL, które są kanoniczne dla sitemapy strony internetowej. Dodatkowo powinno się sprawdzić, czy sitemapa jest odpowiednia do najnowszej załadowanej wersji pliku robots.txt.

Używanie tagów hreflang popłaca

W przypadku analizy stron o różnych wersjach językowych roboty Google wykorzystują hreflangi. Powinno się powiadamiać Google o zlokalizowanych wersjach strony tak dokładnie, jak to tylko możliwe.

Przede wszystkim trzeba użyć formuły <link rel="alternate" hreflang="lang_code" href="url_of_page" /> w nagłówku zarządzanej strony. Gdzie “lang_code” jest kodem obsługiwanego języka. Na koniec nie można pominąć elementu <loc>, dla danego adresu URL. Umożliwia to wskazanie zlokalizowanych wersji witryny.

W jaki sposób powiększyć Crawl Budget?

• Budowa odpowiedniej architektury strony i redukcja występujących na niej błędów.
• W przypadku występowania sekcji na stronie internetowej, które nie muszą znajdować się w Google, należy zablokować je za pomocą pliku robots.txt.
• Ograniczenie ilości łańcuchów przekierowań.
• Zdobywanie większej ilości linków w celu tworzenia dobrego PR-u.
• Stosowanie Accelerated Mobile Pages (AMP).

Korzystanie z Accelerated Mobile Pages (AMP) może nieść ze sobą zalety oraz wady. W przypadku tych pierwszych można odnotować zwiększoną konwersję, występowanie oznaczeń specjalnych oraz zwiększenie widoczności publikowanych treści. Wśród wad znajdują się ograniczenia związane z wykorzystywaniem języka JavaScript, ponadto wiąże się to z dużym kosztem oraz ilością pracy podczas wdrożenia.

Podsumowanie

Optymalizacja Crawl Budget niesie ze sobą wiele korzyści dla zwiększenia widoczności sklepów internetowych. Właściciele e-przedsiębiorstw mogą po zastosowaniu wszystkich wymienionych wskazówek otrzymać zaskakujące efekty. Ingerencja w Crawl Budget może przynieść wiele korzyści związanych z poprawą indeksowania witryny. Najważniejszymi z nich jest wzrost pozycji podstron indeksowanej strony w wyszukiwarce, a co za tym idzie możliwość polepszenia sytuacji dotyczącej sprzedaży dostępnych produktów i usług. Oczywiście to wszystko zależne jest od poświęconego czasu i odpowiednich nakładów pracy.