A crawler fogalma

Csentes Zoltán    2023-07-28

Főoldal >  SEO szótár

Csentes Zoltán, SEO szakértő
Csentes Zoltán, SEO szakértő

Az elmúlt 20 évben az online marketing minden területén megfordultam, minden hárombetűs területet kipróbáltam, végül a keresőoptimalizálás és webanalitika szakértője lettem.

Mi a Crawler?

A Crawler olyan algoritmus, aminek az a feladata, hogy bizonyos információkat kinyerjen az oldalakból.

Léteznek például e-mail cím gyűjtő crawlerek, de a SEO eszközök is például crawlerekkel térképezik fel az oldalakat. Ezek a crawlerek jó célra lettek létrehozva és használatuk semmilyen negatív hatással nem jár.

Az általa gyűjtött adatokat a keresőmotorok algoritmusai feldolgozzák, és ezek alapján rangsorolják az egyes weboldalakat.

A crawler egy előre meghatározott címlistából indul el, majd követi az ezeken a webhelyeken fellelhető linkeket. A működése számos paraméterrel szabályozható, amelyek lehetővé teszik például a következőket:

  • Milyen mélységig kövesse nyomon a webhelyeken található linkeket?
  • Kövessen-e linkeket más weboldalakra, és ha igen, akkor meddig haladjon?
  • Milyen típusú fájlokat és milyen méretig mentsen le?
  • Hány párhuzamos szálon induljon el?
  • Milyen sűrűn menjen vissza ugyanarra a webhelyre?
  • A robot txt-ben beállított tiltásokat figyelembe vegye-e?

Ezekben a cikkekben olvashatsz még róla:

Hasznosnak találtad? Oszd meg mással is:

Nézzen körül SEO / PPC és Analitika ajánlataink között!

Havidíjas SEO és PPC ajánlatok Kis- és Középvállalkozások számára.

HAVIDÍJAS SEO AJÁNLATOK    PPC AJÁNLATOK    GA4 ANALITIKA BEÁLLÍTÁS

Iratkozzon fel hírlevelünkre!

A hírlevélre feliratkozóknak heti rendszerességgel küldjük meg a legfrissebb SEO híreket, posztokat és újdonságokat.