Vediamo in cosa consiste il file robots.
Il file robots è un file di testo (si noti l'estensione .txt), contenente dei record composti di un campo "user-agent" e uno o più campi "disallow" (non permettere). ...
... indica l'assenza del file richiesto. Perchè è così importante il codice errore 404? Perchè ogni qualvolta lo spider visita un sito web effettua una richiesta del file robots.txt, il quale non sempre è presente ...
Creato il 10 Agosto 2010
Mission
Your Idea Our Business
Aggiornamenti
Rilasciata nuova versione AlbaCappella 02 Febbraio 2019