May 11
Come un webmaster, si incontrano momenti in cui si potrebbe desiderare di bloccare l'accesso dei motori di ricerca dal tuo sito web per evitare l'indicizzazione. Questo è spesso il caso se si dispone di contenuti privati o contenuti duplicati su due domini diversi. Normalmente è possibile caricare un file robots.txt nella directory principale del proprio dominio e specificare l'accesso dei motori di ricerca a tutti i sub-directory sul dominio. Se si dispone di un sottodominio sul sito, tuttavia, è necessario creare un nuovo file robots.txt appositamente per il sottodominio e caricarlo nella directory principale del sottodominio.
1 Avviare editor di testo del computer e incollare il seguente codice nel documento:
User-agent: * Disallow: /
2 Salvare il file come file di testo (.txt) e il nome "robots.txt".
3 Carica il file nella root (livello superiore) directory del vostro sottodominio utilizzare il server FTP preferito. Ad esempio, se il sottodominio è subdomain.domain.com, allora si dovrebbe essere in grado di accedere al file robots.txt a subdomain.domain.com/robots.txt.