Crawler
Co to jest Crawler? – Definicja
Crawler (inaczej bot wyszukiwarki, pająk lub robot indeksujący) to program, który wykorzystywany jest przez wyszukiwarki internetowe. Jego celem jest gromadzenie informacji o strukturze oraz zawartości stron znajdujących się w internecie, aby móc je indeksować i – jeśli są wartościowe – prezentować użytkownikom w wynikach wyszukiwania, tzw. SERPach.
Rola robota indeksującego
Do głównych zadań crawlera należą:
- sprawdzanie kodu witryny,
- badanie zawartości strony,
- gromadzenie dodatkowych informacji o stronie przydatnych użytkownikowi,
- sprawdzanie aktualizacji treści dostępnych w Internecie.
Najbardziej znanym crawlerem jest Googlebot. Warto również zwrócić uwagę na fakt, że nie zawsze crawlowanie jest równoznaczne z zaindeksowaniem strony, a więc wyświetlaniem jej w wynikach wyszukiwania.
