Ogni volta che si crea un sito web, gli spider dei motori di ricerca esegue la scansione, o cercare, il vostro sito web per le pagine da aggiungere al database dei motori di ricerca. Il ragno è un robot virtuale, non un essere umano. Per questo motivo, il ragno probabilmente aggiungerà pagine per cercare database dei motori che si potrebbe non voler aggiunto. Vi è una semplice correzione che è possibile utilizzare per bloccare gli spider di eseguire la scansione pagine specifiche del sito. È inoltre possibile bloccare l'intero sito dal bots ragno.

istruzione

1 Accedere al web del tuo sito di hosting Pannello di controllo.

2 Fare clic sul file di directory. Vedrete tutti i file di pagina e le cartelle di directory. Annotare i nomi di tutti i file delle pagine e le cartelle che si desidera evitare che i motori di ricerca di accedere.

3 Selezionare l'opzione per creare un file di pagina "Nuovo" all'interno della cartella pubblica. Invece di dare il nuovo file un nome di file ".html", il nome del nuovo file "robots.txt".

4 Includere il seguente testo all'interno dell'editor HTML per il nuovo file. Personalizzare il testo inserendo i nomi dei file per le pagine che si desidera bloccare da ragni di ricerca. È possibile aggiungere altre pagine, se necessario, con l'aggiunta di un'altra riga "Disallow".

User-agent: *

Disallow: /page1.html/
Disallow: /page2.html
Disallow: /page3.html
Disallow: /page4.html/
Disallow: /page4.html/
Disallow: / cartella1 /
Disallow: / cartella2 /

Se si desidera bloccare gli spider dei motori di ricerca dalla ricerca l'intero sito, è sufficiente inserire il testo seguito invece del testo di cui sopra.

User-agent: *
Disallow: /

5 Fai clic su "Salva" per salvare le modifiche apportate al file robots.txt.