Nowe wieści od Google na temat Crawl Budget i indeksacji stron

Kto wymyślił Crawl Budget?

Co ciekawe, według Garry'ego Illyesa koncepcja Crawl Budget powstała w społeczności użytkowników wyszukiwarki. W momencie, kiedy zaczęto o niej mówić, zespół Google nie posiadał żadnego technicznego rozwiązania, które odpowiadałoby tej idei. Jeśli już, to funkcję Crawl Budgetu pełniło wiele metryk, a nie wyłącznie jeden odpowiednik działający w ten sam sposób. Garry powiedział:

…for the longest time we were saying that we don’t have the concept of crawl budget. And it was true [...] And then we worked with two or three or four teams– I don’t remember– where we tried to come up with at least a few internal metrics that could map together into something that people externally define as crawl budget.

Czym jest Craw Budget dla Google?

Z wypowiedzi Garry'ego wynika, że "Crawl Budget" opiera się na bardzo praktycznych metrykach, jak m.in. to, na zaindeksowanie ilu adresów URL pozwala Googlebotowi serwer bez jego przeciążania. Gary Illyes i Martin Splitt potwierdzili wspólnie, że właśnie dlatego zdefiniowali go jako liczbę adresów URL, które Googlebot może zaindeksować dla danej witryny. Niedługo potem na Twitterze Panowie poruszyli kwestię nie indeksowania zasobów wielu stron internetowych. Wytłumaczyli to oszczędnością zasobów i chęcią skupienia się na treściach naprawdę przydatnych użytkownikom. Wspomnieli, że Google po prostu nie indeksuje, i nigdy nie indeksowało, każdej strony internetowej. Google nie ma nieskończonej pojemności i nie może indeksować wszystkiego, co znajduje się w sieci w sieci.

Czy powinniśmy martwić się o indeksowanie naszych stron?

Podobnie jak sama idea Crawl Budget, tak również wszelkie niepokoje odnośnie indeksacji stron mają swoje źródło wśród użytkowników Google. Gary i Martin zwrócili uwagę na to, że tak naprawdę większość stron (ponad 90%) nie ma powodów do zmartwień. Wszelkie niepokoje zaś są wynikiem dezinformacji i chęci kontrolowania czegoś, czego kontrolować nie można.

Skąd Google wie, co ma być indeksowane?

Słuchając podcastu, możemy usłyszeć także, że rzeczywiście istnieje kilka czynników, które powodują, że Google chętniej indeksuje niektóre treści. Takimi czynnikami są na przykład sygnały o jakości danej treści, jej użyteczności czy popularności tematu - o czym świadczy m.in. liczba linków przychodzących. Więcej na ten temat możecie posłuchać w podcaście: