Il file "robots.txt" è un file universale si posiziona nella cartella principale del tuo sito web per personalizzare un bot Web come la scansione della rete sito web. È necessario formattare il file robots.txt correttamente o motori di ricerca non possono indice correttamente il sito; in alcuni casi, il vostro sito potrebbe essere de-indicizzato. La sintassi del file robots.txt richiede solo poche righe di codice per personalizzare l'interazione del bot con il tuo sito. Un bot web scansione del tuo sito in modo che i collegamenti di sito appaiono nei risultati dei motori di ricerca.

istruzione

1 Fare clic sul Windows "Start", digitare "notepad" nella casella di ricerca e premere "Invio". L'editor di testo in cui è possibile creare un file robots.txt si apre.

2 Impostare la linea di user-agent, che crea la personalizzazione per i singoli bot o tutti i bot. Il codice seguente imposta la-user agent per tutti i bot:

User-agent: *

3 Bloccare le cartelle ei file che non si desidera il bot di eseguire la scansione o di un indice. Ad esempio, i seguenti blocchi di codice nella cartella "private" da robot:

Disallow: / private /

4 Lasciare i bot di eseguire la scansione e indicizzare il resto del sito. Il seguente codice permette bot di eseguire la scansione dell'intero sito ad eccezione delle cartelle impostati nella dichiarazione "respingere":

Allow: /