Crawler

Co to jest Crawler? – Definicja

Crawler (inaczej bot wyszukiwarki, pająk lub robot indeksujący) to program, który wykorzystywany jest przez wyszukiwarki internetowe. Jego celem jest gromadzenie informacji o strukturze oraz zawartości stron znajdujących się w internecie, aby móc je indeksować i – jeśli są wartościowe – prezentować użytkownikom w wynikach wyszukiwania, tzw. SERPach.

Rola robota indeksującego

Do głównych zadań crawlera należą:

  • sprawdzanie kodu witryny,
  • badanie zawartości strony,
  • gromadzenie dodatkowych informacji o stronie przydatnych użytkownikowi,
  • sprawdzanie aktualizacji treści dostępnych w Internecie.

co to jest crawler

Najbardziej znanym crawlerem jest Googlebot. Warto również zwrócić uwagę na fakt, że nie zawsze crawlowanie jest równoznaczne z zaindeksowaniem strony, a więc wyświetlaniem jej w wynikach wyszukiwania.

Czy ta definicja była pomocna?
(2)
Autor
Delante to agencja marketingu internetowego, specjalizująca się w generowaniu ruchu na stronach z wyszukiwarek internetowych (SEO/SEM) i z reklam płatnych. Ponad 80% naszych klientów to szybko rozwijająca się branża e-commerce.

Ostatnio na naszym blogu

Jak porównać oferty agencji SEO?

Jak porównać oferty agencji SEO?

Rozpocząłeś poszukiwania agencji, która zrealizuje dla Ciebie kampanię SEO i zebrałeś już kilka ofert. Widzisz w nich mnóstwo przeróżnych informacji, z których nie do końca wszystko rozumiesz. Jak powinieneś porównać oferty, aby wybrać tą, która będzie dla Ciebie najlepsza? Na co powinieneś zwrócić uwagę?

Czytaj więcej
Kiedy rozpocząć współpracę z agencją SEO?

Kiedy rozpocząć współpracę z agencją SEO?

Posiadasz stronę internetową, na której znajdują się opisy Twoich usług? A możesz jesteś właścicielem sklepu online lub prowadzisz inną witrynę internetową? Zapewne zależy Ci na tym, aby dotrzeć z ofertą do jak największej liczby odbiorców w sieci, a w tym może Ci pomóc agencja SEO. Dowiedz się, kiedy warto zdecydować się na taką współpracę.

Czytaj więcej
Czerwcowa aktualizacja głównego algorytmu Google

Czerwcowa aktualizacja głównego algorytmu Google

2 czerwca Google wdrożyło aktualizację głównego algorytmu wyszukiwarki. Czego można się spodziewać? Czy zobaczymy zawirowania w wynikach wyszukiwania i w jaki sposób można się przygotować do kolejnych aktualizacji, które czekają nas już w kolejnym miesiącu (spoiler alert!)?

Czytaj więcej