February 3
La maggior parte dei webmaster hanno sui loro siti alcune pagine che non vogliono i motori di ricerca di indicizzare. Il "noindex" meta tag HTML è uno dei modi che i webmaster possono dire i motori di ricerca di non includere una particolare pagina Web nell'indice. I principali motori di ricerca rispetteranno la richiesta del webmaster.
Quando un motore di ricerca Web crawler incontra prima un sito web, cerca un file chiamato "robots.txt". Questo file indica il crawler quali directory e le pagine del sito di non strisciare. Il crawler visita poi le altre pagine del sito dal seguente schema di collegamento interno del sito. Ogni pagina che contiene il contenuto del motore di ricerca in grado di indicizzare, di solito ottenere indicizzati a meno che la pagina contiene il "noindex" meta tag.
Quando si crea un nuovo sito web, spesso non si sa ogni pagina che si desidera bloccare nel file "robots.txt". Le piattaforme comuni di siti web spesso includono pagine predefinite come manuali d'uso che un webmaster potrebbe anche non sapere che ci sono. Per questo motivo, le pagine non vengono bloccate prima che il motore di ricerca ottiene alla vista. E 'anche possibile che i motori di ricerca eseguono la scansione del sito prima di un file "robots.txt" è a posto perché il webmaster inavvertitamente lasciare che i motori di ricerca che il sito esiste per il collegamento al sito da un sito web diverso. Un altro problema comune è che i webmaster metteranno Google Analytics sul sito troppo presto nel processo di costruzione del sito. Questo informa Google che il sito esiste e può causare Google per inviare il crawler dei motori di ricerca per il sito per l'indicizzazione.
A dire i motori di ricerca di non indicizzare una particolare pagina del tuo sito, inserire il seguente codice nella sezione "testa" del codice HTML della pagina:
<META NAME = "ROBOTS" CONTENT = "NOINDEX">
È possibile aggiungere altri tag alla stessa linea per dare ulteriori istruzioni ai crawler. Ad esempio, se anche non si vuole crawler di seguire tutti i link sulla pagina, utilizzare il seguente codice:
<META NAME = "ROBOTS" CONTENT = "NOINDEX, nofollow">
Se si desidera rimuovere una pagina da indici di ricerca, utilizzare il tag "noindex", ma non bloccare la pagina nel file "robots.txt" subito. Se lo fai, motori di ricerca non esegue la scansione della pagina per vedere la nuova tag "noindex" e la pagina rimarrà nell'indice più a lungo. Aspetta di bloccare l'accesso crawler alla pagina fino a dopo si è certi che il sito non è indicizzato nei motori di ricerca. Per la rimozione più veloce di una pagina dall'indice, Google e Bing entrambi forniscono un modo per i webmaster per richiedere la rimozione di una pagina. Sarà comunque necessario usare "noindex" nella pagina, tuttavia, come il motore di ricerca potrebbe trovare la pagina più tardi.