Quali sono Ragni & Web Motori di ricerca?

June 9

Ragni e bot Web - abbreviazione di "robot Web" - sono programmi per computer che eseguono operazioni di routine, come ad esempio ricerche on-line, con poco o nessun intervento umano. I programmi vagano, o "strisciare", da una pagina all'altra sul Web in modo organizzato, indicizzazione e categorizzare i contenuti che trovano.

Motori di ricerca

I motori di ricerca, tale Google e Yahoo !, utilizzano un gruppo di ragni che operano in parallelo per creare un'istantanea di contenuti Web in un dato momento. Un ragno inizia in un'unica pagina web, copia il contenuto in un database e gli indici di loro. E poi segue ogni link sulla pagina e le copie e indici il contenuto della pagina di destinazione per ogni link. In questo modo, i ragni creare un indice locale che il motore di ricerca può cercare rapidamente i risultati più appropriati quando un utente invia una query.

Shopping online

Un particolare tipo di Bot Web, conosciuto come un ShopBot, o un robot commerciale, può essere utilizzato per verificare i prezzi con molti rivenditori sul web e così aiutare i consumatori a trovare il miglior prezzo per un elemento particolare. I rivenditori o pagare per click - che è, ogni volta che un visitatore clicca attraverso il loro sito web - o di una piccola percentuale del denaro speso dal visitatore, da inserire nei risultati ShopBot. risultati ShopBot sono, tuttavia, in genere presentati in modo equo, senza pregiudizi, e non aggiungono nulla al prezzo visitatore paga.

altre applicazioni

Ragni e bot Web possono essere utilizzati per generare le statistiche che permettono al contenuto del Web per essere meglio compresa, per convalidare la struttura delle pagine Web individuali - compresi i collegamenti ad altre pagine - e per raccogliere informazioni specifiche. Queste informazioni includono informazioni di contatto e, in particolare, indirizzi e-mail, che i ragni dannosi e bot web raccolgono ai fini della generazione di posta Internet indesiderata, o spam.

Politiche comportamentali

Ragno e web bot possono cercare milioni di pagine web molto rapidamente, ma anche un gruppo di ragni o bot Web non possono cercare l'intero Web abbastanza rapidamente. Ragni e bot web quindi utilizzare i criteri comportamentali, definiti dai loro creatori, per cercare in modo selettivo per il contenuto Web più adatto alle loro esigenze. titolari di siti web possono incoraggiare i ragni e bot web per cercare le loro pagine Web includendo Hypertext Markup Language (HTML) tag che descrivono il loro contenuto, o scoraggiarli, includendo un file chiamato "robot.txt", che racconta il software non eseguire la scansione della pagina .