February 10
I motori di ricerca utilizzano programmi informatici per la raccolta e sito indice di indirizzi in modo gli esseri umani possono trovarli. Questi programmi hanno diversi nomi, tra cui Web crawler, robot web, spider o bot Web ragno. Sarebbe impossibile elencare ogni singolo robot ragno, ma alcuni dei bot più noti includono Googlebot, Yahoo Slurp, Bingbot e Teoma, il ragno bot Ask.com. bots ragno può anche raccogliere informazioni specifiche tali prezzi sulle merci.
Google è uno dei motori di ricerca più utilizzati, soprattutto negli USA. Googlebot è il nome del bot ragno che Google utilizza per alimentare il suo motore di ricerca, il download di miliardi di pagine per la costruzione di un indice di ricerca. I motori di ricerca diversi da Google sono anche alimentati da Googlebot, come ad esempio AOL Search.
Bingbot è bot ragno di Microsoft. Ci sono voluti più dal loro precedente ragno, MSNbot, con un cambio di nome per allinearlo con il marchio Bing di Microsoft. poteri Bingbot il motore di ricerca Bing.
bot ragno di Yahoo, Slurp, si basa sulla tecnologia preesistente, acquisita quando Yahoo ha acquistato la società ora defunta Inktomi. Il software di Inktomi è stata costituita nel HotBot e AltaVista, motori di ricerca, una volta-popolare che alla fine sono stati sfollati a causa del Google più ampiamente adottato.
Anche se il suo nome è forse non così noto come alcuni altri bot, poteri Teoma uno dei leader di mercato nel mondo dei motori di ricerca: Ask.com. Precedentemente Ask Jeeves, Ask.com ha sostituito la sua tecnologia esistente bot ragno con Teoma nel 2006. Teoma anche i poteri del motore di ricerca Teoma.com.
bots ragno specializzati cercano e le informazioni di indice su un tema particolare. Gli indici bot Technorati Weblogs, per esempio. Un altro esempio di un bot ragno specialista sarebbe un agente di shopping o ShopBot; dimensioni come Bizrate.com e PriceGrabber utilizzare questi per aiutare la ricerca i consumatori per i prezzi più bassi sui prodotti.
Ciò che costituisce esattamente un "cattivo" bot ragno è un po 'soggettivo. bot Spider che sono progettati per raccogliere e-mail per gli spammer, per esempio, sono generalmente considerati male. Mal scritta bots ragno che un onere inutile su un sito scaricando troppe informazioni troppo velocemente, potrebbe anche essere classificati come cattivi bot. È possibile bloccare i bot ragno da visitare e le pagine di indicizzazione del tuo sito web utilizzando il protocollo "robots.txt"; alcuni bot ragno sono scritti a ignorare questo, accidentalmente o deliberatamente, e anche questi sono considerati cattivi bot. Tali bot in genere non hanno un nome.