Crawler

Co to jest Crawler? – Definicja

Crawler (inaczej bot wyszukiwarki, pająk lub robot indeksujący) to program, który wykorzystywany jest przez wyszukiwarki internetowe. Jego celem jest gromadzenie informacji o strukturze oraz zawartości stron znajdujących się w internecie, aby móc je indeksować i – jeśli są wartościowe – prezentować użytkownikom w wynikach wyszukiwania, tzw. SERPach.

Rola robota indeksującego

Do głównych zadań crawlera należą:

  • sprawdzanie kodu witryny,
  • badanie zawartości strony,
  • gromadzenie dodatkowych informacji o stronie przydatnych użytkownikowi,
  • sprawdzanie aktualizacji treści dostępnych w Internecie.

co to jest crawler

Najbardziej znanym crawlerem jest Googlebot. Warto również zwrócić uwagę na fakt, że nie zawsze crawlowanie jest równoznaczne z zaindeksowaniem strony, a więc wyświetlaniem jej w wynikach wyszukiwania.

Czy ta definicja była pomocna?
(2)
Autor
Delante to agencja marketingu internetowego, specjalizująca się w generowaniu ruchu na stronach z wyszukiwarek internetowych (SEO/SEM) i z reklam płatnych. Ponad 80% naszych klientów to szybko rozwijająca się branża e-commerce.

Ostatnio na naszym blogu

GPT-4 - rewolucja dla Chatu GPT?

GPT-4 - rewolucja dla Chatu GPT?

Wczoraj, 14 marca 2023, OpenAI wypuściło na światło dzienne GPT-4, czyli kolejną iterację ich modelu językowego, na bazie którego działa bijący rekordy popularności ChatGPT. Czy ChatGPT będzie teraz znacznie mądrzejszy?

Czytaj więcej
Jak równolegle poprawiamy SEO i dostępność stron internetowych naszych klientów?

Jak równolegle poprawiamy SEO i dostępność stron internetowych naszych klientów?

Co gdybym Ci powiedział, że 32%* spośród użytkowników odwiedzających Twoją stronę – czyli w zasadzie co trzecia osoba – nie może się po niej poruszać? Jedna na trzy osoby nie może przeczytać dostępnych treści. Co trzecia osoba ma problem z wykonaniem działań, których oczekujesz. Co trzecia osoba opuszcza Twoją witrynę, ponieważ nie może nacisnąć żadnego przycisku.

Czytaj więcej