Robots.txt fornisce indicazioni per i bot di ricerca, tra cui Googlebot di Google. È possibile creare il file in Blocco note e caricarlo alla radice del dominio. Google cerca automaticamente il file, ma è necessario impostare il file robots.txt per consentire a Googlebot di eseguire la scansione del sito. È inoltre possibile specificare le sezioni del sito che non si desidera Googlebot per la scansione.

istruzione

1 Fare clic sul pulsante di Windows "Start" e digitare "blocco note" nella casella di testo del menu. Premere il tasto "Enter" per aprire l'editor di testo.

2 Digitare il seguente testo di istruire Googlebot di eseguire la scansione del sito:

User-agent: *

Questo testo indica a tutti i bot a strisciare l'intero sito.

3 Aggiungere eventuali sezioni "disallow" nel file robots.txt. Per esempio, se si desidera disabilitare la cartella "private", aggiungere il seguente testo al file:

Disallow: / private /

4 Premere i tasti "S" "Ctrl" e per salvare le modifiche. Nome del file "robots.txt" e caricarlo sul dominio del sito web. Ogni host di dominio offre diversi metodi per caricare i file, in modo che la procedura di upload dipende dalle autorizzazioni e applicazioni di upload forniti dall'host.