Quando Google non può accedere a una parte o l'intero sito web, le aree che non possono accedere non sarà possibile ottenere indicizzato nei risultati di ricerca. Il file robots.txt è responsabile per raccontare i bot di Google quello che possono e non possono accedere. Fortunatamente, rimuovendo i file o le directory bloccati sul tuo sito web è abbastanza semplice. È possibile modificare il file robots.txt accedendo al Google Webmaster Tools, la generazione di un nuovo file robots.txt e caricarlo sul sito.

istruzione

1 Visita il sito web di Google Webmaster Tools (vedi Risorse). Accedi con il tuo account Google, se ne hai uno. Se non lo fai, fai clic su "Crea un account adesso."

2 Fare clic sul pulsante grigio "Aggiungi Sito" Se il tuo sito non è già elencato in Google Webmaster Tools. Sarà necessario verificare che sei il proprietario del vostro sito seguendo una delle istruzioni su schermo. Tornare al sito Strumenti per i Webmaster dopo che il sito è stato verificato.

3 Fare clic sul link del sito nella sezione "Siti". Fai clic sul link "Configurazione Sito" sul lato sinistro della pagina, sotto "Dashboard". Fai clic su "Accesso del crawler."

4 Fai clic sul link "Genera robots.txt" al centro della pagina. Fare clic sul cerchio accanto a "Consenti tutti". Se si desidera consentire a Google di accedere tutto sul vostro sito web, cliccare su "download" in fondo alla pagina. Se si desidera bloccare Google di eseguire la scansione alcune aree del tuo sito web, fai clic sul menu a discesa "Azione" e selezionare "Block". Fare clic sulla casella a discesa "User Agent" e fare clic su cui bot di Google si desidera bloccare; quindi digitare l'area del tuo sito web che si desidera bloccare nella casella di testo. Fai clic su "Aggiungi regola" e quindi fare clic su "Download".

5 Carica il file robots.txt scaricato nella directory principale del tuo sito web con il tuo gestore di FTP. Se non siete sicuri di ciò che la directory principale è, è in genere etichettato come "public_html".