hu Kérj ingyenes auditot!
Email hello@ad-ops.hu Hívj minket! +36-70-784-6000

Crawler

AdOps Digital > Szótár > Crawler

Mi a Crawler?

A Crawler olyan algoritmus, aminek az a feladata, hogy bizonyos információkat kinyerjen az oldalakból.

Léteznek például e-mail cím gyűjtő crawlerek, de a SEO eszközök is például crawlerekkel térképezik fel az oldalakat. Ezek a crawlerek jó célra lettek létrehozva és használatuk semmilyen negatív hatással nem jár.

Az általa gyűjtött adatokat a keresőmotorok algoritmusai feldolgozzák, és ezek alapján rangsorolják az egyes weboldalakat.

A crawler egy előre meghatározott címlistából indul el, majd követi az ezeken a webhelyeken fellelhető linkeket. A működése számos paraméterrel szabályozható, amelyek lehetővé teszik például a következőket:

  • Milyen mélységig kövesse nyomon a webhelyeken található linkeket?
  • Kövessen-e linkeket más weboldalakra, és ha igen, akkor meddig haladjon?
  • Milyen típusú fájlokat és milyen méretig mentsen le?
  • Hány párhuzamos szálon induljon el?
  • Milyen sűrűn menjen vissza ugyanarra a webhelyre?
  • A robot txt-ben beállított tiltásokat figyelembe vegye-e?

Milyen tényezők befolyásolják, hogy egy oldal milyen gyakran kerül feltérképezésre?

Az oldal frissítési gyakorisága

Ha egy weboldalon rendszeresen új tartalom jelenik meg vagy a meglévő oldalak frissülnek, a keresőmotorok gyakrabban térképezik fel. Egy hírportál vagy blog esetében a frissítés gyakorisága nagy szerepet játszik a feltérképezési ütemezésben.

A weboldal autoritása és megbízhatósága

A nagyobb Domain Authority értékkel rendelkező weboldalak előnyt élveznek. A keresőmotorok megbízhatóbbnak tekintik őket, ezért gyakrabban indexelik az új tartalmaikat. Egy erős backlink-profillal rendelkező oldal nagyobb eséllyel kap magasabb crawl budgetet.

A robots.txt és meta tagek beállítása

Ha egy weboldal robots.txt fájlja vagy a meta robots tagok bizonyos oldalak feltérképezését tiltják („Disallow”), a keresőrobotok nem fogják azokat meglátogatni. Érdemes időnként ellenőrizni, hogy nem tiltunk le véletlenül fontos oldalakat.

A szerver válaszideje és a weboldal sebessége

A Googlebot figyelembe veszi, hogy milyen gyorsan tudja lekérni az oldalakat. Ha egy szerver lassan válaszol, az csökkentheti a feltérképezési gyakoriságot. A PageSpeed Insights vagy a Search Console segítségével ellenőrizhető a betöltési sebesség.

A duplikált vagy alacsony minőségű tartalom

Ha egy weboldalon sok duplikált tartalom található, a keresőmotorok csökkenthetik a feltérképezés gyakoriságát. Az értékes és egyedi tartalom növeli az esélyt, hogy a keresőrobotok gyakrabban térképezzék fel az oldalt.

A szerzőről

Az elmúlt 20 évben az online marketing minden területén megfordultam, minden hárombetűs területet kipróbáltam, végül a keresőmarketing szakértője lettem. Kövess LinkedIn-en.

Leave a Reply