spider web, noto anche come spider dei motori di ricerca o crawler, sono programmi software che esaminano i contenuti dei siti web automatizzati. Aziende come Google e Yahoo! utilizzano spider web di analizzare siti web e poi li elenco in loro motori di ricerca in base alle informazioni trovate. spider web possono essere identificati dagli amministratori del sito a causa del modo in cui si visitano i siti. Mentre i visitatori umani spesso navigare il sito apparentemente a caso, un ragno Web scandaglia le pagine in dettaglio.

istruzione

1 Guardate i log del server del tuo sito web. Potrebbe essere necessario contattare il fornitore di hosting per l'accesso. Ogni server tiene i registri dei visitatori di siti web che ospita, e gli amministratori del sito possono chiedere di visualizzare questi registri.

2 Esaminare la colonna URL di riferimento dei registri, guardando prima eventuali date in cui si ritiene una spider dei motori di ricerca ha visitato il vostro sito. La maggior parte delle visite sul web umani provengono da altri siti web. Un ragno Web ha un URL vuoto riferimento.

3 Esaminare la colonna Attività di visite contenente un URL vuoto. spider web lasciano anche il segno nel modo in cui navigano il tuo sito web. Trovare la colonna di attività per la visita e vedrete che il ragno visitato ogni pagina del tuo sito web.