Indeksowanie w Google. Jak to działa?

Indeksowanie strony w Google: co to jest i jak działa?

Indeksowanie stron to proces dodawania stron internetowych do wyszukiwarki. Podczas indeksacji wszystko zależy od używanego metatagu:

• index
• noindex

W pierwszym przypadku Robot Google (inne nazwy: pająk, robot internetowy, bot wyszukiwarki, spider, web wanderer) odwiedzi Twoją stronę, następnie odczyta kod źródłowy, a później ją zindeksuje. Natomiast metatag noindex oznacza, że strona nie zostanie dodana do indeksu wyszukiwania w sieci. Kiedy korzystamy z wyszukiwania, tak naprawdę przeszukujemy bazę danych Google czyli Indeks.

Roboty Google sprawdzają wiele czynników na stronie przed indeksacją strony. Biorą pod uwagę między innymi:

• słowa kluczowe,
• treść,
• poprawny kod,
• element title,
• atrybuty alt.

Jak sprawdzić indeksowanie strony?

By sprawdzić stan indeksowania pojedynczego linku, jakim jest np. profil, wystarczy wpisać go do wyszukiwarki. Jeśli pojawi się w wyszukiwaniach, oznacza to, że Twoja strona została zindeksowana. Natomiast jeżeli chcemy sprawdzić indeksację pełnej strony lub bloga oraz liczbę nowych tematów oraz zindeksowanych stron, wystarczy wpisać: „site:http://nazwastrony.pl„.

Indeksowanie strony – jak ułatwić robotom Google zadanie?

Istnieje kilka sposobów, aby skłonić Roboty Google do coraz częstszego odwiedzania naszej strony oraz jej zindeksowania. Pierwszym krokiem jest sprawdzenie, czy plik robots.txt umożliwia Robotowi Google prawidłową indeksację strony.

Robots.txt to plik, którego zadaniem jest komunikacja z robotami, które indeksują naszą stronę. Warto zasugerować im, jak powinny to zrobić. Ten plik jest pierwszą rzeczą, jaką sprawdzają boty, które wchodzą na stronę internetową, by dokonać indeksacji w Google.

Więcej informacji na temat dowiesz się z naszego wcześniejszego wpisu – Plik robots.txt – co to jest, jak go poprawnie używać?

Sposoby indeksacji strony

1.  Dodanie strony za pomocą Search Console

Jest to najszybszy i najprostszy sposób indeksowania strony. Zajmuje od kilku sekund do kilku minut. Po tym czasie Twoja strona staje się widoczna w Google. Wystarczy wkleić pełny adres strony do indeksacji oraz kliknąć → poproś o zindeksowanie.

2. Dodanie strony do indeksu poprzez mapy XML

Mapa XML jest przeznaczona dla Robotów Google. Wszystkie strony powinny ją posiadać, ponieważ format XML zdecydowanie ułatwia indeksowanie strony w Google. Mapa XML to zbiór wszystkich informacji o adresach URL oraz podstronach. Zawiera ona również informację odnośnie wszystkich aktualizacji.

Gdy już uda nam się wygenerować mapę witryny, należy dodać ją do wyszukiwarki Google. Dzięki temu Roboty Google będą wiedzieć gdzie znaleźć daną sitemapę wraz z jej danymi. By przesłać mapę XML do Google należy użyć Google Search Console. Gdy mapa zostanie przetworzona będziesz miał możliwość wyświetlania statystyk na danej stronie oraz wszelkich przydatnych informacji o błędach. Warto dowiedzieć się, jak automatycznie aktualizować mapę strony – jeśli tylko mamy taką możliwość.

3. Indeksowanie za pomocą pliku PDF

Coraz więcej firm decyduje się umieszczać na swoich stronach teksty w formacie PDF. Jeśli tekst jest w tym formacie, Google może przetwarzać te obrazy by wyodrębnić tekst.

Jak traktowane są linki w plikach PDF? Linki w PDF są traktowane dokładnie tak samo jak linki na witrynach internetowych. Warto pamiętać, że nie powinno umieszczać się tam linków no-follow.

By sprawdzić indeksację plików PDF, należy wpisać w wyszukiwarkę Google daną frazę wraz z dopiskiem PDF.

PDF to jeden z wielu rodzajów plików, które Google może indeksować. Zachęcamy do zapoznania się z pełną listą: https://support.google.com/webmasters/answer/35287?hl=en

4. Indeksowanie stron internetowych za pomocą narzędzi online

Jest to podstawowa oraz bardzo prosta forma indeksacji Google. Odbywa się za pomocą wielu linków zwrotnych. Istnieje wiele tego typu narzędzi, w większości są one płatne bądź posiadają limitowaną, darmową wersję. Indeksowanie za pomocą narzędzi online jest istotne dla linków i stron do których nie mamy dostępów. Dzięki dodaniu ich do indeksacji Robot Google będzie mógł swobodnie się po nich poruszać.

Narzędzia online do indeksowania stron:

• http://www.linkcentaur.com
• https://black-star.link/
• http://www.instantlinkindexer.com/
• http://www.indexification.com/

Indeksacja strony w Google a Crawl Budget

Zależy to od rozmiaru witryny oraz jej kondycji, czyli błędów napotkanych przez Google oraz oczywiście od liczby linków do Twojej strony. Roboty każdego dnia indeksują miliardy podstron, dlatego każda taka wizyta obciąża część serwerów po stronie właściciela jak i Google.

Największy wpływ na Crawl Budget mają dwa parametry:

• Crawl Rate Limit – limit współczynnika indeksacji strony
• Crawl Demand – częstotliwość z jaką witryna jest indeksowana

Crawl Rate Limit to limit, który został wprowadzony, żeby Google nie crawlował zbyt dużej ilości stron w danym czasie. Ma to być zabezpieczeniem przed możliwym obciążeniem witryny internetowej. Jest to powstrzymanie Google od wysyłania zbyt wielu zapytań, które powodowałyby spowolnienie szybkości Twojej strony. Może to zależeć także od szybkości witryny, jeżeli jest ona zbyt wolna to tempo całego procesu spada. Wtedy to Google będzie mógł przeanalizować jedynie kilka Twoich podstron.

Na Crawl Rate Limit wpływa również ograniczenie, które jest ustawione w Google  Search Console. Właściciel witryny poprzez panel może zmienić wartość limitu.

Crawl Demand opiera się na ograniczeniach technicznych. Jeżeli strona jest wartościowa dla potencjalnego użytkownika, Google Robot chętniej będzie ją odwiedzał. Istnieje możliwość, że nawet jeżeli Crawl Rate Limit nie zostanie wykorzystany witryna może nie zostać zindeksowana. Mogą na to wpłynąć dwa czynniki:

• popularność, czyli adresy, które posiadają większą liczbę odwiedzin użytkowników są częściej odwiedzane przez roboty Google,
• aktualność – algorytmy Google sprawdzają, jak często strona jest aktualizowana.

Komentarz specjalisty

Dobrym pomysłem może okazać się drobna ingerencja w Crawl Budget, innymi słowy, jego optymalizacja. Jest na to co najmniej kilka sposobów: ograniczenie ilości łańcuchów przekierowań, redukcja występujących na stronie błędów, użycie hreflangów, aktualizacja sitemapy czy korzystanie z adresów kanonicznych. Pomóżmy robotom Google zindesować nasze podstrony! 😉

Przemek Jaskierski

SEO Specialist

Indeksowanie Google. Podsumowanie

Istnieje wiele sposobów na zindeksowanie strony w Google. Najpopularniejszymi z nich są:

• indeksowanie za pomocą Search Console,
• mapy XML,
• indeksowanie plików PDF,
• indeksowanie stron internetowych za pomocą narzędzi online.

Jeśli chodzi o indeksowanie, musimy wziąć pod uwagę również kilka istotnych czynników, które pomogą nam w otrzymaniu jak najlepszych wyników. Są to czynniki takie jak:

• metatagi,
• plik robots.txt,
• Crawl Budget.