d-tags 
Ładowanie...Kto wymyślił Crawl Budget?
Co ciekawe, według Garry'ego Illyesa koncepcja Crawl Budget powstała w społeczności użytkowników wyszukiwarki. W momencie, kiedy zaczęto o niej mówić, zespół Google nie posiadał żadnego technicznego rozwiązania, które odpowiadałoby tej idei. Jeśli już, to funkcję Crawl Budgetu pełniło wiele metryk, a nie wyłącznie jeden odpowiednik działający w ten sam sposób. Garry powiedział:…for the longest time we were saying that we don’t have the concept of crawl budget. And it was true [...] And then we worked with two or three or four teams– I don’t remember– where we tried to come up with at least a few internal metrics that could map together into something that people externally define as crawl budget.
Czym jest Craw Budget dla Google?
Z wypowiedzi Garry'ego wynika, że "Crawl Budget" opiera się na bardzo praktycznych metrykach, jak m.in. to, na zaindeksowanie ilu adresów URL pozwala Googlebotowi serwer bez jego przeciążania. Gary Illyes i Martin Splitt potwierdzili wspólnie, że właśnie dlatego zdefiniowali go jako liczbę adresów URL, które Googlebot może zaindeksować dla danej witryny.
Więcej o Crawl Budget pisaliśmy na naszym blogu w artykule Jak optymalizować Crawl Budget?
Niedługo potem na Twitterze Panowie poruszyli kwestię nie indeksowania zasobów wielu stron internetowych. Wytłumaczyli to oszczędnością zasobów i chęcią skupienia się na treściach naprawdę przydatnych użytkownikom. Wspomnieli, że Google po prostu nie indeksuje, i nigdy nie indeksowało, każdej strony internetowej. Google nie ma nieskończonej pojemności i nie może indeksować wszystkiego, co znajduje się w sieci w sieci.
Czy powinniśmy martwić się o indeksowanie naszych stron?
Podobnie jak sama idea Crawl Budget, tak również wszelkie niepokoje odnośnie indeksacji stron mają swoje źródło wśród użytkowników Google. Gary i Martin zwrócili uwagę na to, że tak naprawdę większość stron (ponad 90%) nie ma powodów do zmartwień. Wszelkie niepokoje zaś są wynikiem dezinformacji i chęci kontrolowania czegoś, czego kontrolować nie można.
