Co je to pavouk vyhledávač?

Vyhledávač pavouci, někdy nazývané roboti, využívá Internet vyhledávačů shromažďovat informace o webových stránek a jednotlivých webových stránek. Vyhledávače potřebují informace od všech stránkách; jinak by to vědět, jaké stránky se zobrazí v reakci na vyhledávací dotaz nebo s tím, co prioritou.

Vyhledávač pavouci procházet přes internet a vytvářet fronty webů, na něž k dalšímu vyšetřování. Jako konkrétní webové stránky dostane na které se vztahuje pavouk, pavouk čte přes všechny textu, hypertextové odkazy, meta tagy (meta tagy jsou speciálně formátované klíčových slov vložené do webové stránky takovým způsobem, určený pro pavouka najít a použít) a kód , S využitím těchto informací, pavouk poskytuje profil na vyhledávače. Pavouk pak shromažďuje doplňující informace v návaznosti na hypertextové odkazy na webové stránky, což mu dává lepší sběr dat o těchto stránkách. To je důvod, že má vazby na své webové stránce - a ještě lépe, jiné webové stránky odkazují na váš. - Je tak užitečné, jak se vaše webové stránky nalezen vyhledávačů

Pavouci mají čtyři základní režimy shromažďování informací. Jeden druh pavouka se používá pouze k vytvoření fronty webových stránek, které mají být prohledány jinými pavouky. Tento pavouk, pracující v režimu "volby", je stanovení priorit, které stránky projít a kontrole, zda již byla stažena dřívější verze stránky. Druhý režim je spider určen především projít stránek, které již byly prolezen pavouka. Tento režim se nazývá "re-Navštívení Panny Marie." Některé vyhledávače se obávají, že stránka byla příliš důkladně navštívena jinými pavouky, takže oni používají režim pavouk s názvem "zdvořilost", který omezuje leze přepracovaný stránky. A konečně, "paralelizace" umožňuje pavouk koordinovat své sběru dat úsilí s dalšími vyhledávačů, které se plazil stejné stránce.