Il file robots è un file di testo (si noti l'estensione .txt), contenente dei record composti di un campo "user-agent" e uno o più campi "disallow" (non permettere).

Il campo user-agent indica a quale spider sono rivolte le istruzioni contenute nel campo "disallow".
Nel campo disallow sono riportati gli URL relativi alle pagine alle quali non si vuole far accedere lo spider.
Una volta creato il file con un qualunque text-editor (il buon vecchio Blocco Note è perfetto!), esso va pubblicato nella root principale del sito web.

Ecco un classico esempio di file robots:

# robots.txt scritto per http://www.seodev.it/
User-agent: *
Disallow: /admin/login/ # Questo è uno spazio virtuale infinito per URL
Disallow: /tmp/ # cartella temporanea
Disallow: /quelchetipare.html
Sitemap: http://www.miosito.com/sitemap.xml

Il simbolo cancelletto "#" serve per inserire un commento che non verrà letto dai robots.