E' normale trovare traccia delle visite di robot vari negli access log di un server web. Segue un esempio delle GET effettuate da vari robots per il file robots.txt
65.116.145.15 - - [29/Jan/2002:13:25:24 +0100] "GET /robots.txt HTTP/1.1" 404 - "-" "Mozilla/4.0 compatible ZyBorg/1.0 ([email protected]; http://www.WISEnutbot.com)"
195.130.233.24 - - [04/Mar/2002:06:42:30 +0100] "GET /robots.txt HTTP/1.0" 404 - "-" "SearchTone2.0 - IDEARE"
216.239.46.98 - - [13/Nov/2002:04:07:19 +0100] "GET /robots.txt HTTP/1.0" 200 4026 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
Gli header HTTP e la loro customizzazione. Gestione degli errori.