Crawler

Co to jest Crawler? – Definicja

Crawler (inaczej bot wyszukiwarki, pająk lub robot indeksujący) to program, który wykorzystywany jest przez wyszukiwarki internetowe. Jego celem jest gromadzenie informacji o strukturze oraz zawartości stron znajdujących się w internecie, aby móc je indeksować i – jeśli są wartościowe – prezentować użytkownikom w wynikach wyszukiwania, tzw. SERPach.

Rola robota indeksującego

Do głównych zadań crawlera należą:

  • sprawdzanie kodu witryny,
  • badanie zawartości strony,
  • gromadzenie dodatkowych informacji o stronie przydatnych użytkownikowi,
  • sprawdzanie aktualizacji treści dostępnych w Internecie.

co to jest crawler

Najbardziej znanym crawlerem jest Googlebot. Warto również zwrócić uwagę na fakt, że nie zawsze crawlowanie jest równoznaczne z zaindeksowaniem strony, a więc wyświetlaniem jej w wynikach wyszukiwania.

Czy ta definicja była pomocna?
(2)
Autor
Delante to agencja marketingu internetowego, specjalizująca się w generowaniu ruchu na stronach z wyszukiwarek internetowych (SEO/SEM) i z reklam płatnych. Ponad 80% naszych klientów to szybko rozwijająca się branża e-commerce.

Ostatnio na naszym blogu

Eksploracja GA4 - jak tworzyć raporty niestandardowe?

Eksploracja GA4 - jak tworzyć raporty niestandardowe?

Eksplorowanie to nowa sekcja w GA4. Możesz dzięki niech stworzyć raporty niestandardowe. Nie zwlekaj zatem z dodaniem strony do GA4 i poznaj nowe rozwiązanie od Google, zanim statystyki Google Universal zostaną wyłączone. Masz jeszcze sporo czasu – dane w ramach GA Universal będą zbierane do 1 lipca 2022 roku. Wiesz, czym są raporty niestandardowe w GA4? Sprawdź, na czym polegają i jak z nich korzystać.

Czytaj więcej
Wydarzenia marketingowe w 2022, na których warto być

Wydarzenia marketingowe w 2022, na których warto być

W 2021 roku doszło do wielu wydarzeń marketingowych, które ze względów pandemicznych nie odbyły się w 2020 roku. Powrócił Festiwal SEO, a także inne imprezy związane z marketingiem. Już wiemy, jakie wydarzenia planowane są na ten rok. Będzie się działo! Sprawdźmy, gdzie warto się pojawić w drugim półroczu 2022 roku. Na które wydarzenia marketingowe warto zwrócić szczególną uwagę?

Czytaj więcej