Il file robots.txt: escludere i motori indesiderati

Come utilizzare il file robots.txt per escludere i motori e i software indesiderati