robot dei motori di ricerca, detti anche spider Web, setacciare Internet alla ricerca di informazioni. Essi copiare i dati da siti web e lo immagazzinano sui loro server. Questo rende possibile per i navigatori di Internet per la ricerca sul web e trovare informazioni. Gli sviluppatori Web controllano il processo di indicizzazione inserendo un file di testo speciale sui loro siti web. Questo file, denominato robots.txt, racconta i ragni quali parti di un sito per la ricerca e quali parti di un sito di ignorare. Se si vuole evitare che tutti i motori di ricerca di indicizzare il tuo sito web, inserire un file robots.txt sul server Web che porta questa istruzione.

istruzione

1 Aprire Blocco note o qualsiasi software di elaborazione testi e creare un nuovo documento.

2 Aggiungere il seguente testo al documento:

User-agent: *

Disallow: /

Questo consentirà di evitare tutti i motori di ricerca di accedere al sito web.

3 Salvare il file come robots.txt e caricarlo nella directory principale del tuo sito web.

Consigli e avvertenze

• Per consentire i motori di ricerca di indicizzare il tuo sito di nuovo, eliminare il file robots.txt. I motori di ricerca non devono onorare le istruzioni contenute in un file robots.txt. Tuttavia, la maggior parte dei motori di ricerca leggere il file e cercare solo ciò che le direttive nel file consentono.