Un bot dei motori di ricerca è un programma automatizzato utilizzato per raccogliere informazioni dai siti web su Internet. Il motore di ricerca organizza allora e registra le informazioni per l'utilizzo nei suoi risultati di ricerca. Numerosi bot "strisciare" Internet per tutti i principali motori di ricerca in un dato momento.

Nomi alternativi

bot dei motori di ricerca sono anche comunemente noti come web crawler, spider web, scutters web e robot web.

funzioni di base

Motori di creare copie di tutte le pagine visitate. Il motore di ricerca, quindi indici di tali copie nel loro archivio, che contribuisce al più veloce e la ricerca più accurata.

Politiche

Un bot dei motori di ricerca è controllato da quattro politiche: quali pagine di eseguire la scansione, la frequenza con cui verificare la presenza di modifiche a una pagina, come la scansione di pagine senza sovraccaricare i server le pagine ', e come coordinare i suoi lavori con altri web crawler. Questi spesso possono essere controllate da norme presenti nelle singole pagine o mappe del sito.

Metodo Crawl

bot dei motori di ricerca per indicizzazione in Internet a partire da una lista di base dei siti da visitare. Hanno quindi identificare ogni collegamento ipertestuale su tali siti e aggiungere quei link alla lista.

svantaggi

Un Scansione web globale è praticamente impossibile a causa della natura mutevole di Internet, la prevalenza di siti che utilizzano funzioni come JavaScript o Flash che non forniscono alcun testo da analizzare, e l'esistenza di pagine web che non sono legati da alcun altro pagina e quindi rimangono rilevabili.