Robots entry  nell'access log di apache

E' normale trovare traccia delle visite di robot vari negli access log di un server web. Segue un esempio delle GET effettuate da vari robots per il file robots.txt

65.116.145.15 - - [29/Jan/2002:13:25:24 +0100] "GET /robots.txt HTTP/1.1" 404 - "-" "Mozilla/4.0 compatible ZyBorg/1.0 ([email protected]; http://www.WISEnutbot.com)"
195.130.233.24 - - [04/Mar/2002:06:42:30 +0100] "GET /robots.txt HTTP/1.0" 404 - "-" "SearchTone2.0 - IDEARE"
216.239.46.98 - - [13/Nov/2002:04:07:19 +0100] "GET /robots.txt HTTP/1.0" 200 4026 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Privacy Policy