Come creare il mio sito web Robot

November 30

robot del sito web sono file di testo che notificano i motori di ricerca dei file all'interno del vostro sito web che non si desidera scansione. Sono utilizzati per evitare che i motori di ricerca di eseguire la scansione e indicizzazione pagine che non si desidera essere indicizzato nei risultati di ricerca dei motori di ricerca. In tal modo, dirigono crawler lontano da pagine meno importanti e quelli più importanti che si desidera visualizzare nei risultati di ricerca. La creazione di un robot sito web è abbastanza semplice e richiede solo un semplice programma di elaborazione testi.

istruzione

1 Aprire il Blocco note e digitare quanto segue per consentire a tutti i file sottoposti a scansione:

User-agent: *
Disallow:

2 Digitare la seguente per consentire a tutti i file tranne i file di immagine sottoposti a scansione:

User-agent: *
Disallow: / images /

3 Digitare la seguente per consentire a tutti i file tranne le statistiche dei file venga eseguita la scansione:

User-agent: *
Disallow: / stats /

4 Digitare la seguente per consentire a tutti i file ad eccezione di uno specifico file da strisciato:

User-agent: *
Disallow: (Percorso del file) ad esempio / images / immagine

5 Digitare quanto segue per non consentire una certa crawler di eseguire la scansione tuo sito web:

User-agent: (Nome del crawler)
Disallow: /

6 Salvare il file come file di testo dal titolo "robot" e caricarlo nella directory principale del pannello di controllo web hosting.

Consigli e avvertenze

  • Combinare i fattori di cui sopra per mantenere i crawler di eseguire la scansione più directory di siti web.
  • Alcuni web host generano automaticamente un robot per il tuo sito, in modo da controllare due volte prima di creare il proprio, come si può essere in grado di modificare semplicemente la già generato uno.