Link copiato negli appunti
Il file robots è un file di testo (si noti l’estensione .txt), contenente dei record composti di un campo “user-agent” e uno o più campi “disallow” (non permettere). Il campo user-agent indica a quale spider sono rivolte le istruzioni contenute nel campo “disallow”. Nel campo disallow sono riportati gli URL relativi alle pagine alle quali non si vuole far accedere lo spider. Una volta creato il file con un qualunque text-editor (il buon vecchio Blocco Note è perfetto!), esso va pubblicato nella root principale del sito web.