Domande Frequenti - Web Master

Cos'è il file robots.txt?

I files robot (chiamati anche  bot o crawler) permettono di indicizzare tutti i files ai quali possono accedere.
 
Da questo punto si  sollevano due problemi:

1)I files bot possono indicizzare dati sensibili e renderne più semplice l'accesso al pubblico

2)Maggiori sono i files bot processati, e maggiore sarà il carico causato al server.
 
Fortunatamente c'è un aspetto positivo: esiste  un modo per controllare il crawler, cioè il file robots.txt.

Il file robots.txt contiene le istruzioni per la ricerca robot, ma deve essere posizionato nella directory principale (root) di un dominio.

Creare il file è semplice come creare un normale file .txt.

Potete usare il vostro editor di testo preferito e caricarlo sul server, potete crearlo utilizzando il File Manager cPanel o con gli  strumenti console  nel caso in cui abbiate l' accesso shell abilitato.

Anche se non si intende creare regole per non consentire l'accesso completo agli indicizzatori, è comunque consigliato per creare un file robots.txt vuoto.

MAPPA DEL SITO


Cerca nel sito

 

Questo sito utilizza cookie, anche di terze parti, per migliorare la tua esperienza e offrire servizi in linea con le tue preferenze. Chiudendo questo banner, scorrendo questa pagina o cliccando qualunque suo elemento acconsenti all’uso dei cookie. Se vuoi saperne di più clicca su “Più informazioni”