November 30
robot del sito web sono file di testo che notificano i motori di ricerca dei file all'interno del vostro sito web che non si desidera scansione. Sono utilizzati per evitare che i motori di ricerca di eseguire la scansione e indicizzazione pagine che non si desidera essere indicizzato nei risultati di ricerca dei motori di ricerca. In tal modo, dirigono crawler lontano da pagine meno importanti e quelli più importanti che si desidera visualizzare nei risultati di ricerca. La creazione di un robot sito web è abbastanza semplice e richiede solo un semplice programma di elaborazione testi.
1 Aprire il Blocco note e digitare quanto segue per consentire a tutti i file sottoposti a scansione:
User-agent: *
Disallow:
2 Digitare la seguente per consentire a tutti i file tranne i file di immagine sottoposti a scansione:
User-agent: *
Disallow: / images /
3 Digitare la seguente per consentire a tutti i file tranne le statistiche dei file venga eseguita la scansione:
User-agent: *
Disallow: / stats /
4 Digitare la seguente per consentire a tutti i file ad eccezione di uno specifico file da strisciato:
User-agent: *
Disallow: (Percorso del file) ad esempio / images / immagine
5 Digitare quanto segue per non consentire una certa crawler di eseguire la scansione tuo sito web:
User-agent: (Nome del crawler)
Disallow: /
6 Salvare il file come file di testo dal titolo "robot" e caricarlo nella directory principale del pannello di controllo web hosting.