Főoldal > SEO szótár
Csentes Zoltán, SEO szakértő
Az elmúlt 20 évben az online marketing minden területén megfordultam, minden hárombetűs területet kipróbáltam, végül a keresőoptimalizálás és webanalitika szakértője lettem.
Mi a Crawler?
A Crawler olyan algoritmus, aminek az a feladata, hogy bizonyos információkat kinyerjen az oldalakból.
Léteznek például e-mail cím gyűjtő crawlerek, de a SEO eszközök is például crawlerekkel térképezik fel az oldalakat. Ezek a crawlerek jó célra lettek létrehozva és használatuk semmilyen negatív hatással nem jár.
Az általa gyűjtött adatokat a keresőmotorok algoritmusai feldolgozzák, és ezek alapján rangsorolják az egyes weboldalakat.
A crawler egy előre meghatározott címlistából indul el, majd követi az ezeken a webhelyeken fellelhető linkeket. A működése számos paraméterrel szabályozható, amelyek lehetővé teszik például a következőket:
- Milyen mélységig kövesse nyomon a webhelyeken található linkeket?
- Kövessen-e linkeket más weboldalakra, és ha igen, akkor meddig haladjon?
- Milyen típusú fájlokat és milyen méretig mentsen le?
- Hány párhuzamos szálon induljon el?
- Milyen sűrűn menjen vissza ugyanarra a webhelyre?
- A robot txt-ben beállított tiltásokat figyelembe vegye-e?
Ezekben a cikkekben olvashatsz még róla:
- 6+1 tipp, hogyan rejtsd el az E-mail címed a botok elől
- 404-es hiba email riasztás beállítása
- Robots.txt használata és veszélyei
- A BOT fogalma
- SEO Dashboard: Kövesse nyomon weboldala és versenytársai organikus eredményét
- A legtöbb hiba, amivel Google Analytics audit során találkozunk