Molti motori di ricerca utilizzano una tecnica chiamata "spidering", il che significa che inviano un user-agent a visitare il tuo sito web e seguire i link alle varie pagine. Questo è come le pagine web vengono indicizzati dai principali motori di ricerca in modo che possano mostrare nei risultati di ricerca. Mentre non si può decidere di bloccare le user-agent per i principali motori di ricerca, ci sono altri bot che striscerà il vostro sito web, utilizzando la larghezza di banda necessaria e rallentare il sito. Utilizzare un file robots.txt per elencare tutti gli agenti che si desidera bloccare.

istruzione

1 Aprire un editor di testo, come ad esempio il blocco note. Scrivi "User-Agent:" e inserire il nome di uno user-agent che si desidera bloccare. Se non siete sicuri su uno specifico user-agent, visitare il database Robots (elencati in Risorse) per ottenere ulteriori informazioni, quali il nome, tipo, descrizione e proprietario.

2 Premere Invio e scrivere "Disallow:" Inserire la pagina web che si desidera questo user-agent per evitare, a partire da subito dopo il nome del dominio. Ad esempio, è necessario inserire "/webpage.html" per escludere la pagina example.com/webpage.html. Enter "/" per istruire l'user-agent per evitare l'intero sito web. Ripetere il processo per il maggior numero di agenti che si desidera bloccare.

3 Nome del file "robots.txt" e salvarlo sul disco rigido. Accedi al dominio principale del tuo sito web e caricare il file robots.txt. Se non siete sicuri come accedere alla radice del tuo dominio, chiedi al tuo host web per le istruzioni.