Programma in grado di seguire i collegamenti ipertestuali e di accedere alle pagine Web, senza controllo umano. Ad esempio i "ragni", spiders dei motori di ricerca e i programmi "harvesting" che estraggono indirizzi e-mail e altri dati dalle pagine Web. Un database di robot è mantenuto da Webcrawler.
Vedi anche: SPIDER, MOTORE DI RICERCA, DIRECTORY