.animate-view{opacity: 1 !important;}

Indeksowanie w Google. Jak to działa?

14min.

Komentarze:4

Indeksowanie w Google. Jak to działa?
06 kwietnia 2022
Google stale skanuje internet w poszukiwaniu nowych stron i aktualizacji na tych już mu znanych. Po wykryciu specjalny algorytm ocenia, czy dana podstrona jest na tyle wartościowa, aby dołączyć ją do swojej bazy danych, z której później układa wyniki wyszukiwania. Proces ten nazywa się indeksowaniem stron internetowych. Możemy pomóc botom Google w dotarciu do nowych stron w obrębie nowej witryny np. poprzez sitemapy XML czy za pomocą zgłoszeń w GSC.

14min.

Komentarze:4

Crawling – What Is It And How Does It Work?

Crawling is the process of integrating new websites into the Google search engine index. During this process, everything is determined by the applied tags, namely:

  • index
  • no-index

When talking about the first tag, the Google bot (also called a spiderbot, a web crawler, or web wanderer) visits your website, examines the source code, and then indexes it.

On the other hand, the no-index tag means that the page isn’t included in the web search index, therefore, it’s not displayed to users in the search results.

So, actually, it can be stated that when you browse the net, you actually browse the index, meaning Google’s database.

Before indexing the website, Google bots analyze various factors. They take into account elements such as keywords, content, correct source code or title, and alt attributes.

How to Check if Your Website Is Indexed?

To check the indexing status of a specific link, such as a profile, just enter it into the search engine. If it’s displayed in the search results, it means that your website has been indexed.

If you wish to check the indexing of a whole website or blog and the number of new indexed subpages, just type in the following command:

„site:http://websitename.com”

crawling - how to check site

Website Indexing

There are a few ways to make Google crawl a website. The first thing you need to do is to check if the robots.txt file allows Google robots to properly index your page.

Robots.txt is a file responsible for communicating with the robots that index your website. This file is the first thing checked by Google robots after entering a page and it can be used to show them how to index your site.

Robots txt

Wondering how to make Google crawl your website? Let’s delve into details!

How to Make Google Crawl My Website?

1. Adding the Website to Google Search Console

It’s the quickest and easiest way to index your website – it takes only up to a few minutes. After this time your website becomes visible on Google. Just paste your website address into the indexing box in Google Search Console and click request indexing.

Google indexing request in google search console

2. Using XML Maps

The XML map is designed specifically for Google robots. Since it significantly facilitates site indexing, every website should have it. The XML map is a database of all information about URL addresses, subpages, and their updates.

Once you manage to generate an XML map of your website, you should add it to the Google search engine. Thanks to it, Google robots will know where to find a particular sitemap and its data.

Use Google Search Console in order to send your XML map to Google. Once the map is processed, you’ll be able to display statistics concerning your website and various useful information about errors.

how to make google crawl my website with sitemap

3. Using a PDF file

Texts in PDF are more and more frequently published on various websites. If the text is in this format, Google may process the images to extract the text.

How do search engine robots treat links in PDF files? Exactly the same way as other links on websites as they provide both PageRank and other indexing signals. However, remember not to include no-follow links in your PDF file.

In order to check the indexing of PDF files, you need to enter a given phrase accompanied by „PDF” in Google.

PDF is just one of many types of files that can be indexed by Google. If you want to find out more, go to: https://support.google.com/webmasters/answer/35287?hl=en  

4. Using Online Tools

It’s a basic and very simple form of indexing.

There are various tools that enable doing it, however, most of them are paid or have a limited free version. Indexing with the use of online tools is important, especially when talking about links and pages you don’t have access to. By indexing them, Google robots are able to freely crawl them.

You can use one of the following online indexing tools:

Need help with making Google crawl and index your website? Choose our website indexing services!

Work with us!

Both internal and external dofollow links are extremely important tools you can use to guide Google robots and to encourage them to visit (and thus index) particular subpages.

When you provide internal links to product or service categories, blog posts, and other important elements, robots crawling your page will see and index them.

The same applies to dofollow external links. If other websites link to you, it’s a sign to Google that it should visit your page. Moreover, quality backlinks have a positive impact on important parameters like PA (page authority) and DA (domain authority) that affect positions in the SERPs and show the search engine that your page is of high quality.

Get a free SEO on-page checklist and check if your website is SEO and Google-friendly! Boost your visibility with the best interactive tool on the web!

6. Indexing Through Social Media Shares

Although nofollow social media links don’t have a direct impact on website positions in the search results, they help you increase your brand recognition, allow you to distribute your content via various channels, improve your online visibility, and show Google robots that your posts are useful and appreciated by users.

In 2017, Google’s Gary Illyes said that:

The context in which you engage online, and how people talk about you online, actually can impact what you rank for.

Therefore, social media links can support SEO and indexing.

Join Our Newsletter

7. Excluding Low-Quality Pages From Indexing

Making sure that important subpages of your website are indexed is as important as making sure that common, invaluable website elements aren’t analyzed by Google robots.

If you want to save your crawl budget (we’ll discuss it in detail below), you can use noindex tags and nofollow links to prevent Google robots from crawling given subpages.

It’s a good idea to use noindex tags and nofollow links when talking about:

  • Subpages with terms and conditions,
  • Subpages with privacy policy,
  • Shopping carts,
  • External links,
  • Social media links.

Crawl Budget

Crawl budget is a resource for indexing your website.

More specifically, crawl budget is the number of pages indexed by Google robots during a single visit to your site. The budget depends on the size of your website, its condition, errors encountered by Google, and, of course, the number of backlinks to your site.

There are two parameters that have the most noticeable impact on the crawl budget:

  • crawl rate limit – limit of the indexing factor
  • crawl demand – the frequency at which the website is indexed

Crawl rate limit is a limit that has been set so that Google doesn’t crawl too many pages in a given time. It should prevent the website from being overloaded as it refrains Google from sending too many requests that would slow down the speed and the loading time of your site.

Increase your online sales with SEO by Delante

However, the crawl rate limit may also depend on the speed of the website itself – if it’s too slow then the entire process is also slowed down. In such a situation Google is able to examine only a few of your subpages. The crawl rate limit is also influenced by the limit set in Google Search Console. The website owner can change the limit value through the panel.

Need help with optimizing your crawling budget? Check our technical SEO services! We’ll make sure everything works smoothly.

Work with us!

Crawl demand is about technical limitations. If the website is valuable to its potential users, Google robots are more willing to visit it. There is also a possibility that your website won’t be indexed even if its crawl rate limit is higher. This may happen due to two factors:

  • popularity – websites that are very popular with users are frequently visited by Google robots.
  • up-to-date topicality – Google algorithms check how often the website is updated.

How to Crawl a Website in Google – The Takeaway

There are numerous ways to make Google crawl your website. The most popular ones include:

  • website indexing with the use of Google Search Console,
  • XML maps,
  • website indexing with PDF files,
  • website indexing with the use of online tools,
  • website indexing with XML maps,
  • website indexing with link building.

While indexing your site, you need to take into account several factors that will make it easier for you to achieve the best possible results. These factors include:

  • meta tags,
  • the robots.txt file,
  • crawl budget.

Make sure that your website is crawled by Google regularly – if you add new elements to your website or update older elements it’s important that Google sees it. Without a properly crawled and indexed website, no amount of great content or SEO efforts will work if Google is not aware of them.

If you need any help with optimizing your website, contact us! We’ll make sure Google crawls and index your website!

This is an update of an article published in 2019.

Indeksowanie strony w Google: co to jest i jak działa?

Indeksowanie stron to proces dodawania stron internetowych do wyszukiwarki. Podczas indeksacji wszystko zależy od używanego metatagu:

  • index
  • noindex

W pierwszym przypadku Robot Google (inne nazwy: pająk, robot internetowy, bot wyszukiwarki, spider, web wanderer) odwiedzi Twoją stronę, następnie odczyta kod źródłowy, a później ją zindeksuje. Natomiast metatag noindex oznacza, że strona nie zostanie dodana do indeksu wyszukiwania w sieci. Kiedy korzystamy z wyszukiwania, tak naprawdę przeszukujemy bazę danych Google czyli Indeks.

Roboty Google sprawdzają wiele czynników na stronie przed indeksacją strony. Biorą pod uwagę między innymi:

  • słowa kluczowe,
  • treść,
  • poprawny kod,
  • element title,
  • atrybuty alt.

Jak sprawdzić indeksowanie strony?

By sprawdzić stan indeksowania pojedynczego linku, jakim jest np. profil, wystarczy wpisać go do wyszukiwarki. Jeśli pojawi się w wyszukiwaniach, oznacza to, że Twoja strona została zindeksowana. Natomiast jeżeli chcemy sprawdzić indeksację pełnej strony lub bloga oraz liczbę nowych tematów oraz zindeksowanych stron, wystarczy wpisać: „site:http://nazwastrony.pl„.

Sprawdzanie zaindeksowanych stron za pomocą komendy site

Indeksowanie strony – jak ułatwić robotom Google zadanie?

Istnieje kilka sposobów, aby skłonić Roboty Google do coraz częstszego odwiedzania naszej strony oraz jej zindeksowania. Pierwszym krokiem jest sprawdzenie, czy plik robots.txt umożliwia Robotowi Google prawidłową indeksację strony.

Robots.txt to plik, którego zadaniem jest komunikacja z robotami, które indeksują naszą stronę. Warto zasugerować im, jak powinny to zrobić. Ten plik jest pierwszą rzeczą, jaką sprawdzają boty, które wchodzą na stronę internetową, by dokonać indeksacji w Google.

Robots txt a indeksowanie strony

Więcej informacji na temat dowiesz się z naszego wcześniejszego wpisu – Plik robots.txt – co to jest, jak go poprawnie używać?

Sposoby indeksacji strony

1.  Dodanie strony za pomocą Search Console

Jest to najszybszy i najprostszy sposób indeksowania strony. Zajmuje od kilku sekund do kilku minut. Po tym czasie Twoja strona staje się widoczna w Google. Wystarczy wkleić pełny adres strony do indeksacji oraz kliknąć → poproś o zindeksowanie.

Indeksowanie strony w Google Search Console

2. Dodanie strony do indeksu poprzez mapy XML

Mapa XML jest przeznaczona dla Robotów Google. Wszystkie strony powinny ją posiadać, ponieważ format XML zdecydowanie ułatwia indeksowanie strony w Google. Mapa XML to zbiór wszystkich informacji o adresach URL oraz podstronach. Zawiera ona również informację odnośnie wszystkich aktualizacji.

O tym jak ją stworzyć możesz przeczytać w naszym wcześniejszym poście – Mapa strony – co to jest i jak ją skonfigurować?.

Gdy już uda nam się wygenerować mapę witryny, należy dodać ją do wyszukiwarki Google. Dzięki temu Roboty Google będą wiedzieć gdzie znaleźć daną sitemapę wraz z jej danymi. By przesłać mapę XML do Google należy użyć Google Search Console. Gdy mapa zostanie przetworzona będziesz miał możliwość wyświetlania statystyk na danej stronie oraz wszelkich przydatnych informacji o błędach.

Indeksacja strony za pomocą mapy xml

3. Indeksowanie za pomocą pliku PDF

Coraz więcej firm decyduje się umieszczać na swoich stronach teksty w formacie PDF. Jeśli tekst jest w tym formacie, Google może przetwarzać te obrazy by wyodrębnić tekst.

Jak traktowane są linki w plikach PDF? Linki w PDF są traktowane dokładnie tak samo jak linki na witrynach internetowych. Warto pamiętać, że nie powinno umieszczać się tam linków no-follow.

By sprawdzić indeksację plików PDF, należy wpisać w wyszukiwarkę Google daną frazę wraz z dopiskiem PDF.

Indeksowanie PDF w wyszukiwarkach

PDF to jeden z wielu rodzajów plików, które Google może indeksować. Zachęcamy do zapoznania się z pełną listą: https://support.google.com/webmasters/answer/35287?hl=en

4. Indeksowanie stron internetowych za pomocą narzędzi online

Jest to podstawowa oraz bardzo prosta forma indeksacji Google. Odbywa się za pomocą wielu linków zwrotnych. Istnieje wiele tego typu narzędzi, w większości są one płatne bądź posiadają limitowaną, darmową wersję. Indeksowanie za pomocą narzędzi online jest istotne dla linków i stron do których nie mamy dostępów. Dzięki dodaniu ich do indeksacji Robot Google będzie mógł swobodnie się po nich poruszać.

Narzędzia online do indeksowania stron:

Indeksacja strony w Google a Crawl Budget

Crawl Budget jest to budżet indeksowania witryny. Dokładniej mówiąc, Crawl Budget jest to liczba indeksowanych stron przez Google w Twojej witrynie przez Google Robots podczas jednej wizyty.

Zależy to od rozmiaru witryny oraz jej kondycji, czyli błędów napotkanych przez Google oraz oczywiście od liczby linków do Twojej strony. Roboty każdego dnia indeksują miliardy podstron, dlatego każda taka wizyta obciąża część serwerów po stronie właściciela jak i Google.

Największy wpływ na Crawl Budget mają dwa parametry:

  • Crawl Rate Limit – limit współczynnika indeksacji strony
  • Crawl Demand – częstotliwość z jaką witryna jest indeksowana

Crawl Rate Limit to limit, który został wprowadzony, żeby Google nie crawlował zbyt dużej ilości stron w danym czasie. Ma to być zabezpieczeniem przed możliwym obciążeniem witryny internetowej. Jest to powstrzymanie Google od wysyłania zbyt wielu zapytań, które powodowałyby spowolnienie szybkości Twojej strony. Może to zależeć także od szybkości witryny, jeżeli jest ona zbyt wolna to tempo całego procesu spada. Wtedy to Google będzie mógł przeanalizować jedynie kilka Twoich podstron.

Na Crawl Rate Limit wpływa również ograniczenie, które jest ustawione w Google  Search Console. Właściciel witryny poprzez panel może zmienić wartość limitu.

Crawl Demand opiera się na ograniczeniach technicznych. Jeżeli strona jest wartościowa dla potencjalnego użytkownika, Google Robot chętniej będzie ją odwiedzał. Istnieje możliwość, że nawet jeżeli Crawl Rate Limit nie zostanie wykorzystany witryna może nie zostać zindeksowana. Mogą na to wpłynąć dwa czynniki:

  • popularność, czyli adresy, które posiadają większą liczbę odwiedzin użytkowników są częściej odwiedzane przez roboty Google,
  • aktualność – algorytmy Google sprawdzają, jak często strona jest aktualizowana.

Dobrym pomysłem może okazać się drobna ingerencja w Crawl Budget, innymi słowy, jego optymalizacja. Jest na to co najmniej kilka sposobów: ograniczenie ilości łańcuchów przekierowań, redukcja występujących na stronie błędów, użycie hreflangów, aktualizacja sitemapy czy korzystanie z adresów kanonicznych. Pomóżmy robotom Google zindesować nasze podstrony! 😉

Przemek Jaskierski
Przemek Jaskierski Senior SEO Specialist

Indeksowanie Google. Podsumowanie

Istnieje wiele sposobów na zindeksowanie strony w Google. Najpopularniejszymi z nich są:

  • indeksowanie za pomocą Search Console,
  • mapy XML,
  • indeksowanie plików PDF,
  • indeksowanie stron internetowych za pomocą narzędzi online.

Jeśli chodzi o indeksowanie, musimy wziąć pod uwagę również kilka istotnych czynników, które pomogą nam w otrzymaniu jak najlepszych wyników. Są to czynniki takie jak:

  • metatagi,
  • plik robots.txt,
  • Crawl Budget.
Autor
Katarzyna Śliwa, Off Site SEO Specialist, Delante
Autor
Kasia Śliwa

Off-site SEO Specialist

W Delante od grudnia 2018. Specjalistka Off-site SEO, ekspertka od link buildingu. Swoje pierwsze zawodowe kroki stawiała przy organizacji dużych eventów. Studentka dziennikarstwa i komunikacji społecznej. Pasjonatka tańca, muzyki oraz dobrego kina. Uwielbia słuchać ludzi oraz dyskutować z osobami o przeciwstawnych poglądach.

Autor
Katarzyna Śliwa, Off Site SEO Specialist, Delante
Autor
Kasia Śliwa

Off-site SEO Specialist

W Delante od grudnia 2018. Specjalistka Off-site SEO, ekspertka od link buildingu. Swoje pierwsze zawodowe kroki stawiała przy organizacji dużych eventów. Studentka dziennikarstwa i komunikacji społecznej. Pasjonatka tańca, muzyki oraz dobrego kina. Uwielbia słuchać ludzi oraz dyskutować z osobami o przeciwstawnych poglądach.

Komentarze

  1. Dobrze jest mieć poindeksowane wszystkie własne strony. Czy jest to możliwe? Tego nie wiem trzeba w to włożyć dużo parcy.

  2. Cześć! Jeżeli chodzi o linki pozyskiwane do strony (tj. link building) to tak, ma to sens – w ten sposób zwiększamy prawdopodobieństwo, że Google odwiedzi linki i je zaindeksuje 😉

  3. Już tak łatwo nie jest jak 6 lat temu. Jeśli np. prowadzi się portal z ogłoszeniami i nie sprawdza duplicate.

Zostaw komentarz

FAQ

1. Czym jest indeksowanie stron?

Indeksowanie to, najprościej mówiąc, proces dodawania stron do indeksu (czyli swego rodzaju bazy danych) wyszukiwarki. Jeśli chcesz, aby Twoja strona wyświetlała się w wynikach wyszukiwania, musi ona najpierw zostać zindeksowana przez roboty wyszukiwarki.

Aby ułatwić im nieco zadanie, warto stworzyć plik robots.txt (zbiór zaleceń, sugestii dotyczących indeksowania danej witryny), który pozwoli Ci na „komunikację” z botami w zrozumiałym dla nich języku.

2. Jak sprawdzić czy strona jest zindeksowana?

Aby sprawdzić, czy dany link znajduje się w indeksie Google, wystarczy skopiować i wkleić go do wyszukiwarki. Jeśli pojawi się w wynikach wyszukiwania, oznacza to, że jest on zindeksowany.

Jeśli natomiast chcesz zobaczyć, jaki jest stan zindeksowania całej witryny czy bloga, wpisz w wyszukiwarkę komendę site: („site:adres url witryny”). Umożliwi Ci ona sprawdzenie liczby zindeksowanych podstron danej witryny i tego, jak wyświetlają się one w wyszukiwarce.

3. Jak zindeksować stronę w Google?

Jest wiele sposobów na indeksację strony w Google, wśród których wymienić można m.in. indeksowanie:

  • za pomocą Search Console,
  • poprzez mapy XML,
  • za pomocą narzędzi online.

Uzyskaj bezpłatną wycenę

Nagrody

Nagroda - Deloitte 2021 Nagroda - IPMA Nagroda - US Search Awards 2021 Nagroda - European eCommerce Awards 2022 Nagroda - Global Agency Awards 2022 Nagroda - European Search Awards 2022

Porozmawiajmy o Twoim SEO i SEM