Chcete-li pochopit, proč tolik informací je mimo dohled vyhledávačů, je dobré mít trochu v pozadí na vyhledávání technologiích. Můžete si přečíst o tom s tím, jak fungování internetových vyhledávačů, ale my vám dáme rychlý přehled zde.
Vyhledávače obecně vytvořit index údajům najít informace, které jsou uložené na webových stránkách a dalších on-line zdrojů , Tento proces znamená, že pomocí automatizovaných pavouky nebo prohledávače, které lokalizovat domény a pak postupujte hypertextové odkazy na jiné oblasti, jako pavoukovec po hedvábných úponky na webu, v jistém smyslu vytváření rozléhající mapy na webu.
tento index nebo mapa je vaším klíčem k nalezení konkrétní data, která jsou relevantní pro vaše potřeby. Pokaždé, když zadáte vyhledávání podle klíčového slova, výsledky se objeví téměř ihned díky tomuto indexu. Bez ní, vyhledávač doslova muset začít hledat miliardy stránek od nuly pokaždé, když někdo chtěl informace, což je proces, který by byl tak nemotorný a rozčilující.
Ale vyhledávače nevidí data uložená na hluboká síť. K dispozici jsou datové nekompatibility a technické překážky, které komplikují indexování úsilí. Tam jsou soukromé webové stránky, které vyžadují přihlašovací hesla, než budete moci přistupovat k obsahu. Prohledávače nemohou proniknout data, která vyžaduje vyhledávání klíčových slov na jednu konkrétní web. K dispozici jsou časované přístupem místa, která již umožňují veřejné výhled jednou za určitý časový limit vypršel.
Všechny tyto výzvy, a spoustu dalších, aby údaje mnohem obtížnější pro vyhledávače najít a index. Čtěte dál zobrazíte více informací o tom, co odděluje povrch a hluboké webu.
Těsně pod povrchem
Jak jsme již bylo řečeno, existují miliony a miliony podstránek rozházené po celé miliony domén. K dispozici jsou vnitřní strany s žádnými externí odkazy, jako je internal.howstuffworks.com, které se používají pro účely údržby místo. Tam jsou nepublikované či neregistrovaných blogů, obrazové galerie, adresáře souborů, a nesčetné množství obsahu, které vyhledávačů prostě nemůže vidět.
Tady je jen jeden příklad. Existuje mnoho nezávislé noviny webových stránek on-line, a někdy, vyhledávače index několik článků na těchto stránkách. To platí zejména pro velké novinové články, které dostávají hodně pozornosti médií. Rychlé vyhledávání Googl
