"ragni", noto anche come "Web crawler," sono programmi che cercare in internet e la scansione delle pagine, sottodomini o, che trovano automatizzati. Quando i ragni sono inviati dai motori di ricerca come Google, di solito è perché essi sono l'aggiunta di pagine Web per nell'indice di Google così la gente può trovare quando si effettuano ricerche. Ma si potrebbe desiderare di mantenere alcune parti del tuo sito privato da Google, in modo che essi non si presentano nelle pagine dei risultati di ricerca di Google. Questo può essere realizzato con un pezzo di codice sul directory, ma il processo richiede l'accesso FTP per completare.

istruzione

1 Aprire un editor di testo come TextEdit o Notepad. Salvare il file sul disco rigido del computer come "robots.txt".

2 Digitare il seguente codice nella prima riga del file:

User-agent: Googlebot

Questa prima riga di codice indica che i ragni sono i benvenuti e quali no. Se solo si mette "Googlebot" in questa linea, il sottodominio sarà scansionato dai ragni da altri motori di ricerca, come ad esempio AskJeeves e Bing. Se si desidera bloccare tutti i ragni di accedere alla directory, inserire un asterisco "*" in questa linea, in questo modo:

User-agent: *

3 Digitare il seguente codice nella seconda riga del file:

Disallow: / path / to / sottodirectory / vuoi / tu / a / blocco

Sostituire "percorso" con il percorso effettivo di sottodirectory, rispetto alla tua home page. Salvare il file.

4 Accedere alla account FTP per il sito. Caricare la pagina radice, e caricare il file robots.txt per quella posizione. Questo consentirà di evitare gli spider dei motori di ricerca si indica l'accesso alla directory specificata, inclusi tutti i file e le cartelle all'interno di esso.

5 I ragni non sempre hanno lo stesso nome del loro motore di ricerca associati - anche se alcuni lo fanno. Ad esempio, i ragni Alta Vista sono chiamati scooter e Mercator. Se si desidera bloccare i ragni diversi Googlebots, controllare Jafsoft.com/searchengines/webbots.html per un elenco completo di Web crawler attivi e loro motori di ricerca associati.