October 18
I motori di ricerca come Google, Yahoo e Bing trovare le informazioni utilizzando i collegamenti e Sitemaps per altri siti web. I motori di ricerca possono trovare alcune delle informazioni più oscuro e includerlo nell'indice. Questo tipo di tecnologia profonda ricerca ha alcuni vantaggi e svantaggi per gli utenti finali.
pagine web interne sono costituite da pagine del sito che prendono parecchi scatti prima che l'utente è in grado di visualizzarli. Queste pagine possono essere pagine di prodotto, contenuti o un database di ricerche che gli spider dei motori di ricerca sul web non possono normalmente strisciare. Il vantaggio di questo tipo di tecnologia di scansione è che i proprietari di siti web possono disporre di prodotti, negozi, informazioni e altri link di valore incluse nell'indice di un motore di ricerca web. Questo lascia maggiore visibilità su Internet per il proprietario del sito.
Uno svantaggio di una profonda crawler dei motori di ricerca è informazioni personali vengano indicizzati a prescindere dalla privacy. Informazioni come i numeri di previdenza sociale, informazioni finanziarie o aree geografiche può essere indicizzato anche se è inviato a un sito web personale. I motori di ricerca hanno dato agli utenti la possibilità di bloccare alcune informazioni dal indice utilizzando un file chiamato "robots.txt". I motori di ricerca come Google consentono agli utenti di rimuovere gli URL dopo che il proprietario del sito ha rimosso le informazioni incriminato, che elimina dall'indice.
proprietari di siti web possono avere le pagine web indicizzate da far cadere un po 'di link su un altro sito web o all'interno del proprio sito. Questa pratica si chiama "backlinking." Un sito che è backlink automaticamente viene strisciato dal motore di ricerca, che possono poi mappare e indicizzare un sito web. Questo rende molto più facile per un proprietario del sito dal momento che non hanno bisogno di presentare un nome di dominio ai motori di ricerca. Automazione dell'indice rende facile da trovare dai lettori su Internet.