È un file di testo memorizzato nella directory di primo livello di un sito al fine di impedire che i robot (spider dei motori di ricerca) accedano a certe pagine o sub-directories del sito. Solo i robot conformi alle regole del "Robots Exclusion Standard" leggeranno e seguiranno i comandi contenuti nel file. I robot leggeranno il file ad ogni visita, in questo modo le pagine, o intere aree di un sito, possono essere rese pubbliche o private in ogni momento semplicemente cambiando il contenuto del file robot.txt prima di sottometterle nuovamente all'attenzione dei motori di ricerca.
ES. PER evitare che i robot visitino la directory /motori: User-agent: * Disallow: /motori
Vedi anche: SPIDER, MOTORE DI RICERCA, DIRECTORY