August 4
Internet o Web ragni, noto anche come "Web crawler" o "robot Web", sono programmi per computer che esplorano il World Wide Web, la raccolta di dati sui siti web e le pagine. I motori di ricerca utilizzano spesso i ragni per fornire informazioni sul contenuto dei siti web e dei legami tra di loro. ragni Internet navigano nei siti web seguendo i link a loro da altri siti e la navigazione delle pagine all'interno di un sito nello stesso modo, utilizzando ancoraggi HTML.
La possibilità di creare collegamenti tra le pagine Web è un aspetto fondamentale di Internet. Pagine all'interno di un sito possono collegarsi l'uno all'altro, così come ad altri siti, consentendo agli utenti di accedere alle informazioni utilizzando semplici clic del mouse. Il risultato è la struttura del Web, che è una massa di contenuti web collegato tramite ancoraggi HTML. Web crawler seguire questi collegamenti per ottenere informazioni sui siti esistenti, spesso utilizzando i dati rilevati durante la scansione di presentare i risultati dei motori di ricerca.
I motori di ricerca inviare traffico di visitatori ai siti web elencati nelle loro pagine. Quando un utente inserisce un termine di ricerca ed esegue una ricerca, i risultati presentati spesso contengono informazioni ottenute attraverso la scansione. I dati raccolti da un programma Web spider comprende alcuni dei contenuti del sito vero e proprio. I motori di ricerca alimentano tali dati negli algoritmi che usano per i siti di rango in ordine di importanza in elenchi di ricerca. programmi Internet ragno spesso arrivano in un sito seguendo un link ad esso da un altro sito. Quando si analizzano i dati di scansione, uno dei principali obiettivi per i motori di ricerca è quello di determinare quali parole chiave di ricerca di un sito o una pagina dovrebbe essere elencato per.
titolari di siti web possono raggiungere un livello di controllo sui modi in cui i ragni Web accedere ai propri contenuti. Molti siti web memorizzano un file di testo nella directory principale denominata "robots.txt". Quando il programma crawler avvia l'esplorazione di un sito, di norma prima verificare la presenza di eventuali file "robots.txt", analizzando il contenuto. proprietari di siti web possono strutturare i loro file "robots.txt" in un modo che impedisce il programma di procedere per esplorare le pagine all'interno del sito, se non vogliono che venga indicizzato. Il grado di successo per questa tecnica varia, in alcuni casi il programma di ragno non sarà effettivamente controllare il file di testo a tutti.
Le persone che si specializzano in marketing su Internet spesso si concentrano alcuni dei loro sforzi sulla massimizzazione del contenuto e la struttura di un sito per soddisfare al meglio la spider dei motori di ricerca e algoritmi di posizionamento. La capacità di farlo con successo è a volte ostacolata dal fatto che le organizzazioni dei motori di ricerca, come per mantenere i dettagli del loro algoritmi segreti. SEO (Search Engine Optimization) è la pratica di sartoria della struttura e il contenuto di un sito per eseguire il meglio possibile nelle pagine dei risultati dei motori di ricerca.