December 27
Google esegue la scansione di milioni di pagine web ogni giorno e aggiunge alcuni di questi contenuti al suo indice di motore di ricerca. Questa scansione è automatizzato ed eseguito da un programma per computer advanced chiamato "bot". Google memorizza bot testo, immagini e file multimediali trovato durante la sua ricerca per indicizzazione in una cache. La cache è un'istantanea di un sito web come sembrava quando Google lo scorso strisciato esso. Per impedire a Google di memorizzare le pagine Web nella propria cache, è necessario istruire il bot non indicizzare e memorizzare nella cache le pagine. Il metodo più efficace per fare questo è quello di creare un file di testo "Robots", contenente le istruzioni e caricare il tuo sito web.
1 Blocco note lancio o un altro programma di modifica del testo sul computer.
2 Tipo "User-Agent: Googlebot" come la prima linea nel documento di testo.
3 Tipo "Disallow: Tutto" come la seconda linea. Questo impedisce a Google di indicizzare e la memorizzazione nella cache qualsiasi parte del tuo sito web. Se si vuole impedire che la memorizzazione nella cache una pagina specifica, poi invece digitare "Disallow: /page.html" sostituendo "pagina" con il nome specifico della pagina del tuo sito web.
4 Fai clic su "Salva con nome" dal menu "File".
5 Salvare il file come "robots.txt". Deve essere salvato con questo nome per i bot di Google di riconoscere e leggere il file.
6 Carica il file sul server Web con lo strumento File Transfer Protocol o attraverso il sistema di gestione dei contenuti del Web host. Individuare il file nella stessa directory della home page o pagina indice del sito.