Indeksowanie w Google. Jak to działa?

Indeksowanie stron to proces dodawania stron internetowych do wyszukiwarki. Podczas indeksacji wszystko zależy od używanego metatagu:

W pierwszym przypadku Robot Google (inne nazwy: pająk, robot internetowy, bot wyszukiwarki, spider, web wanderer) odwiedzi Twoją stronę, następnie odczyta kod źródłowy, a później ją zindeksuje. Natomiast metatag noindex oznacza, że strona nie zostanie dodana do indeksu wyszukiwania w sieci. Kiedy korzystamy z wyszukiwania, tak naprawdę przeszukujemy bazę danych Google czyli Indeks.

Roboty Google sprawdzają wiele czynników na stronie przed indeksacją strony. Biorą pod uwagę między innymi:

By sprawdzić stan indeksowania pojedynczego linku, jakim jest np. profil, wystarczy wpisać go do wyszukiwarki. Jeśli pojawi się w wyszukiwaniach, oznacza to, że Twoja strona została zindeksowana. Natomiast jeżeli chcemy sprawdzić indeksację pełnej strony lub bloga oraz liczbę nowych tematów oraz zindeksowanych stron, wystarczy wpisać: “site:http://nazwastrony.pl“.

Istnieje kilka sposobów, aby skłonić Roboty Google do coraz częstszego odwiedzania naszej strony oraz jej zindeksowania. Pierwszym krokiem jest sprawdzenie, czy plik robots.txt umożliwia Robotowi Google prawidłową indeksację strony.

Robots.txt to plik, którego zadaniem jest komunikacja z robotami, które indeksują naszą stronę. Warto zasugerować im, jak powinny to zrobić. Ten plik jest pierwszą rzeczą, jaką sprawdzają boty, które wchodzą na stronę internetową, by dokonać indeksacji w Google.

Więcej informacji na temat dowiesz się z naszego wcześniejszego wpisu – Plik robots.txt – co to jest, jak go poprawnie używać?

Jest to najszybszy i najprostszy sposób indeksowania strony. Zajmuje od kilku sekund do kilku minut. Po tym czasie Twoja strona staje się widoczna w Google. Wystarczy wkleić pełny adres strony do indeksacji oraz kliknąć → poproś o zindeksowanie.

Mapa XML jest przeznaczona dla Robotów Google. Wszystkie strony powinny ją posiadać, ponieważ format XML zdecydowanie ułatwia indeksowanie strony w Google. Mapa XML to zbiór wszystkich informacji o adresach URL oraz podstronach. Zawiera ona również informację odnośnie wszystkich aktualizacji.

O tym jak ją stworzyć możesz przeczytać w naszym wcześniejszym poście – Mapa strony – co to jest i jak ją skonfigurować?.

Gdy już uda nam się wygenerować mapę witryny, należy dodać ją do wyszukiwarki Google. Dzięki temu Roboty Google będą wiedzieć gdzie znaleźć daną sitemapę wraz z jej danymi. By przesłać mapę XML do Google należy użyć Google Search Console. Gdy mapa zostanie przetworzona będziesz miał możliwość wyświetlania statystyk na danej stronie oraz wszelkich przydatnych informacji o błędach.

Coraz więcej firm decyduje się umieszczać na swoich stronach teksty w formacie PDF. Jeśli tekst jest w tym formacie, Google może przetwarzać te obrazy by wyodrębnić tekst.

Jak traktowane są linki w plikach PDF? Linki w PDF są traktowane dokładnie tak samo jak linki na witrynach internetowych. Warto pamiętać, że nie powinno umieszczać się tam linków no-follow.

By sprawdzić indeksację plików PDF, należy wpisać w wyszukiwarkę Google daną frazę wraz z dopiskiem PDF.

PDF to jeden z wielu rodzajów plików, które Google może indeksować. Zachęcamy do zapoznania się z pełną listą: https://support.google.com/webmasters/answer/35287?hl=en

Jest to podstawowa oraz bardzo prosta forma indeksacji Google. Odbywa się za pomocą wielu linków zwrotnych. Istnieje wiele tego typu narzędzi, w większości są one płatne bądź posiadają limitowaną, darmową wersję. Indeksowanie za pomocą narzędzi online jest istotne dla linków i stron do których nie mamy dostępów. Dzięki dodaniu ich do indeksacji Robot Google będzie mógł swobodnie się po nich poruszać.

Narzędzia online do indeksowania stron:

Crawl Budget jest to budżet indeksowania witryny. Dokładniej mówiąc, Crawl Budget jest to liczba indeksowanych stron przez Google w Twojej witrynie przez Google Robots podczas jednej wizyty.

Zależy to od rozmiaru witryny oraz jej kondycji, czyli błędów napotkanych przez Google oraz oczywiście od liczby linków do Twojej strony. Roboty każdego dnia indeksują miliardy podstron, dlatego każda taka wizyta obciąża część serwerów po stronie właściciela jak i Google.

Największy wpływ na Crawl Budget mają dwa parametry:

Crawl Rate Limit to limit, który został wprowadzony, żeby Google nie crawlował zbyt dużej ilości stron w danym czasie. Ma to być zabezpieczeniem przed możliwym obciążeniem witryny internetowej. Jest to powstrzymanie Google od wysyłania zbyt wielu zapytań, które powodowałyby spowolnienie szybkości Twojej strony. Może to zależeć także od szybkości witryny, jeżeli jest ona zbyt wolna to tempo całego procesu spada. Wtedy to Google będzie mógł przeanalizować jedynie kilka Twoich podstron.

Na Crawl Rate Limit wpływa również ograniczenie, które jest ustawione w Google  Search Console. Właściciel witryny poprzez panel może zmienić wartość limitu.

Crawl Demand opiera się na ograniczeniach technicznych. Jeżeli strona jest wartościowa dla potencjalnego użytkownika, Google Robot chętniej będzie ją odwiedzał. Istnieje możliwość, że nawet jeżeli Crawl Rate Limit nie zostanie wykorzystany witryna może nie zostać zindeksowana. Mogą na to wpłynąć dwa czynniki:

Sprawdź również naszą usługę przyśpieszania indeksowania strony w Google!

Po lekturze naszego artykułu, wiesz już, czym jest indeksowanie strony. Istnieje wiele sposobów na zindeksowanie strony w Google. Najpopularniejszymi z nich są:

Jeśli chodzi o indeksowanie, musimy wziąć pod uwagę również kilka istotnych czynników, które pomogą nam w otrzymaniu jak najlepszych wyników. Są to czynniki takie jak: