Per impostazione predefinita, tutti i domini su Internet appaiono nei risultati di ricerca dei motori di ricerca come Google e Bing. I motori di ricerca utilizzano programmi automatizzati chiamati spider o crawler web che hanno il compito di individuare e indicizzare i contenuti nuovi e aggiornati sui siti Internet. Una volta che hanno fatto questo, il contenuto viene aggiunto l'indice del motore di ricerca in cui diventa disponibile a chiunque di eseguire una ricerca. Dì questi ragni come indicizzare il tuo sito, o di non indicizzare affatto.

istruzione

Creazione di un file robots.txt nella directory principale di dominio

1 Aprire il programma che si utilizza di solito per la modifica di file di testo.

2 Inserire il testo seguente nel vostro editor:

User-agent: *

Disallow: /

3 Salvare il file di testo come robots.txt.

4 Carica il file robots.txt alla radice del tuo dominio come si farebbe normalmente caricare i file, di solito utilizzando un programma FTP.

Consigli e avvertenze

• Un file robots.txt può contenere più istruzioni per i motori di ricerca.
• Il file robots.txt deve essere messo nella radice del dominio o non sarà visto dai ragni.
• Il testo nel file robots.txt deve essere accurata. I ragni ignoreranno errori.