Come bloccare a Google di indicizzare un sito web

May 17

Se si crea un sito web che non è destinato al grande pubblico, non c'è motivo per farlo apparire sui motori di ricerca come Google. Se non volete che il vostro sito web per essere indicizzato da Google, non consentire Web di Google che striscia robot con un file robots.txt. Robots.txt è uno standard universale per non consentire i robot dei motori di ricerca di eseguire la scansione alcune aree dei siti web, e robot di Google è configurato in modo da rispettare le istruzioni fornite.

istruzione

1 Aprire Blocco note o un editor di testo alternativo preferito.

2 Tipo "User-agent: Googlebot" sulla prima riga di un nuovo file di testo. Se si desidera bloccare tutti i robot dei motori di ricerca di indicizzare il tuo sito web, digitare "User-agent: *" invece. Premere il tasto "Enter" per passare alla riga successiva.

3 Tipo "Non consentire: /" sulla seconda riga del file di testo.

4 Salvare il file di testo con il nome "robots.txt".

5 Connessione al server Web utilizzando un programma di File Transfer Protocol (FTP) e caricare il file "robots.txt" nella directory principale del tuo sito web. La directory principale viene generalmente chiamato "public_html".

6 Aprire un browser Web e digitare "www.example.com/robots.txt", dove "example.com" è il nome di dominio del tuo sito web. Si dovrebbe vedere il file di testo che si è creato vengono visualizzati nella finestra del browser, a conferma che Google non sarà più scansione o l'indicizzazione tuo sito web.

Consigli e avvertenze

  • Il robot strisciare web per Google obbedisce alle direzioni in robots.txt, come fanno i robot per altri motori di ricerca. Tuttavia, alcuni robot ignorano robots.txt. Pertanto, può essere ancora possibile per alcuni robot di scansione del tuo sito web, anche se il file robots.txt contiene la riga "User-agent: *."