I files robot (chiamati anche bot o crawler) permettono di indicizzare tutti i files ai quali possono accedere.
Da questo punto si sollevano due problemi:
1)I files bot possono indicizzare dati sensibili e renderne più semplice l’accesso al pubblico
2)Maggiori sono i files bot processati, e maggiore sarà il carico causato al server.
Fortunatamente c’è un aspetto positivo: esiste un modo per controllare il crawler, cioè il file robots.txt.
Il file robots.txt contiene le istruzioni per la ricerca robot, ma deve essere posizionato nella directory principale (root) di un dominio.
Creare il file è semplice come creare un normale file .txt.
Potete usare il vostro editor di testo preferito e caricarlo sul server, potete crearlo utilizzando il File Manager cPanel o con gli strumenti console nel caso in cui abbiate l’ accesso shell abilitato.
Anche se non si intende creare regole per non consentire l’accesso completo agli indicizzatori, è comunque consigliato per creare un file robots.txt vuoto.
