April 7
I motori di ricerca come Google eseguire la scansione del contenuto delle pagine Web per determinare dove le pagine dovrebbero comparire nei risultati di ricerca. Programmi speciali sono utilizzati per verificare le pagine Web, analizzando il testo che appare in una pagina e seguendo i link che sono presenti per determinare come rilevanti sono al contenuto del sito.
I programmi utilizzati per eseguire la scansione di siti web e determinare il loro posizionamento dei risultati di ricerca sono comunemente noti come "Web crawler" o "spider" a causa del loro modo di "strisciare" su pagine web da indicizzare il loro contenuto. Il ragno di Google è conosciuto come "Googlebot" e restituisce i risultati a uno dei diversi server dedicati per la scansione e l'indicizzazione dei siti web. Le informazioni raccolte da Googlebot è utilizzato dagli algoritmi dei motori di ricerca di Google per determinare il modo rilevante il contenuto di ogni pagina è di potenziali parole chiave, consentendo di Google per determinare la classifica appropriata per le pagine.
Quando il ragno Googlebot esegue la scansione di una pagina che raccoglie i dati non solo sul contenuto della pagina, ma anche su tutti i link che si collegano a una pagina. I dati sulla pagina principale che le visite Googlebot viene sottoposto a scansione per la pertinenza delle parole chiave, sia in confronto al soggetto apparente della pagina e per qualsiasi sito web che si collega alla pagina. Una volta che la scansione preliminare è completata, il ragno segue tutti i link nella pagina per vedere se atterrano su altri siti web o altre pagine dello stesso sito.
Quando Googlebot segue i link che non lo fa a tempo indeterminato; link sono in genere solo strisciato una o due pagine in profondità prima che i risultati vengono restituiti a Google. Ciò significa che i collegamenti incontrati nella pagina iniziale, che le visite Googlebot saranno seguiti e collegamenti incontrati su ogni pagina che è collegato al possono essere seguite pure. Il ragno può seguire solo i link che non richiedono l'interazione con l'utente a seguire, e sarà abbandonare ogni tentativo di seguire un link che sembra essere morto o in altro modo non si connette a una pagina Web valida.
Anche se le forme di presentazione utilizzano collegamenti, questi collegamenti non possono essere seguiti da Googlebot perché in genere richiedono l'interazione dell'utente per attivare e non portano a un sito web valido o pagina di destinazione. A seconda di come è stato creato il modulo di presentazione, il link utilizzato per presentare le informazioni può portare direttamente a un indirizzo di posta elettronica o di un programma lato server che elabora le informazioni prima della consegna. In entrambi i casi, il ragno Google riconosce che il collegamento non può essere seguita e interrompe ogni ulteriore tentativo di farlo.