March 23
robot dei motori di ricerca, detti anche spider Web, setacciare Internet alla ricerca di informazioni. Essi copiare i dati da siti web e lo immagazzinano sui loro server. Questo rende possibile per i navigatori di Internet per la ricerca sul web e trovare informazioni. Gli sviluppatori Web controllano il processo di indicizzazione inserendo un file di testo speciale sui loro siti web. Questo file, denominato robots.txt, racconta i ragni quali parti di un sito per la ricerca e quali parti di un sito di ignorare. Se si vuole evitare che tutti i motori di ricerca di indicizzare il tuo sito web, inserire un file robots.txt sul server Web che porta questa istruzione.
1 Aprire Blocco note o qualsiasi software di elaborazione testi e creare un nuovo documento.
2 Aggiungere il seguente testo al documento:
User-agent: *
Disallow: /
Questo consentirà di evitare tutti i motori di ricerca di accedere al sito web.
3 Salvare il file come robots.txt e caricarlo nella directory principale del tuo sito web.