W ostatnim czasie wiele emocji wzbudziła informacja o aktualizacji algorytmu „Helpful Content”, której skutki w dużej mierze wciąż pozostają dla nas zagadką. Nieco inaczej jest z procesem indeksacji i Crawl Budgetem, na których temat wydawałoby się, że wiemy już całkiem sporo. Niedawno w podcaście Google Search Central Gary Illyes i Martin Splitt podzielili się kolejnymi spostrzeżeniami w tym zakresie.
Co ciekawe, według Garry'ego Illyesa koncepcja Crawl Budget powstała w społeczności użytkowników wyszukiwarki. W momencie, kiedy zaczęto o niej mówić, zespół Google nie posiadał żadnego technicznego rozwiązania, które odpowiadałoby tej idei. Jeśli już, to funkcję Crawl Budgetu pełniło wiele metryk, a nie wyłącznie jeden odpowiednik działający w ten sam sposób.
Garry powiedział:
…for the longest time we were saying that we don’t have the concept of crawl budget. And it was true [...] And then we worked with two or three or four teams– I don’t remember– where we tried to come up with at least a few internal metrics that could map together into something that people externally define as crawl budget.
Czym jest Craw Budget dla Google?
Z wypowiedzi Garry'ego wynika, że "Crawl Budget" opiera się na bardzo praktycznych metrykach, jak m.in. to, na zaindeksowanie ilu adresów URL pozwala Googlebotowi serwer bez jego przeciążania. Gary Illyes i Martin Splitt potwierdzili wspólnie, że właśnie dlatego zdefiniowali go jako liczbę adresów URL, które Googlebot może zaindeksować dla danej witryny.
Niedługo potem na Twitterze Panowie poruszyli kwestię nie indeksowania zasobów wielu stron internetowych. Wytłumaczyli to oszczędnością zasobów i chęcią skupienia się na treściach naprawdę przydatnych użytkownikom. Wspomnieli, że Google po prostu nie indeksuje, i nigdy nie indeksowało, każdej strony internetowej. Google nie ma nieskończonej pojemności i nie może indeksować wszystkiego, co znajduje się w sieci w sieci.
Czy powinniśmy martwić się o indeksowanie naszych stron?
Podobnie jak sama idea Crawl Budget, tak również wszelkie niepokoje odnośnie indeksacji stron mają swoje źródło wśród użytkowników Google. Gary i Martin zwrócili uwagę na to, że tak naprawdę większość stron (ponad 90%) nie ma powodów do zmartwień. Wszelkie niepokoje zaś są wynikiem dezinformacji i chęci kontrolowania czegoś, czego kontrolować nie można.
Skąd Google wie, co ma być indeksowane?
Słuchając podcastu, możemy usłyszeć także, że rzeczywiście istnieje kilka czynników, które powodują, że Google chętniej indeksuje niektóre treści. Takimi czynnikami są na przykład sygnały o jakości danej treści, jej użyteczności czy popularności tematu - o czym świadczy m.in. liczba linków przychodzących.
Więcej na ten temat możecie posłuchać w podcaście:
Ta strona korzysta z ciasteczek, aby zapewnić Ci najlepszą możliwą obsługę. Informacje o ciasteczkach są przechowywane w przeglądarce i wykonują funkcje takie jak rozpoznawanie Cię po powrocie na naszą stronę internetową i pomaganie naszemu zespołowi w zrozumieniu, które sekcje witryny są dla Ciebie najbardziej interesujące i przydatne.
Ściśle niezbędne ciasteczka
Niezbędne ciasteczka powinny być zawsze włączone, abyśmy mogli zapisać twoje preferencje dotyczące ustawień ciasteczek.
Jeśli wyłączysz to ciasteczko, nie będziemy mogli zapisać twoich preferencji. Oznacza to, że za każdym razem, gdy odwiedzasz tę stronę, musisz ponownie włączyć lub wyłączyć ciasteczka.