May 17
Se si crea un sito web che non è destinato al grande pubblico, non c'è motivo per farlo apparire sui motori di ricerca come Google. Se non volete che il vostro sito web per essere indicizzato da Google, non consentire Web di Google che striscia robot con un file robots.txt. Robots.txt è uno standard universale per non consentire i robot dei motori di ricerca di eseguire la scansione alcune aree dei siti web, e robot di Google è configurato in modo da rispettare le istruzioni fornite.
1 Aprire Blocco note o un editor di testo alternativo preferito.
2 Tipo "User-agent: Googlebot" sulla prima riga di un nuovo file di testo. Se si desidera bloccare tutti i robot dei motori di ricerca di indicizzare il tuo sito web, digitare "User-agent: *" invece. Premere il tasto "Enter" per passare alla riga successiva.
3 Tipo "Non consentire: /" sulla seconda riga del file di testo.
4 Salvare il file di testo con il nome "robots.txt".
5 Connessione al server Web utilizzando un programma di File Transfer Protocol (FTP) e caricare il file "robots.txt" nella directory principale del tuo sito web. La directory principale viene generalmente chiamato "public_html".
6 Aprire un browser Web e digitare "www.example.com/robots.txt", dove "example.com" è il nome di dominio del tuo sito web. Si dovrebbe vedere il file di testo che si è creato vengono visualizzati nella finestra del browser, a conferma che Google non sarà più scansione o l'indicizzazione tuo sito web.