部署 nginx/passenger/rails 怎么看百度爬虫何时来爬的

zealinux · January 11, 2013 · Last by woaigithub replied at January 11, 2013 · 2510 hits

现在还不知道百度爬虫是什么 ip, 想看看它是什么时候来过的,什么时候走的,走了哪些链接。

请教各位,需要怎么做?

我要看哪些日志,有这方面分析工具吗

最简单的就是grep --color Baiduspider /var/log/nginx/access.log

日志分析一下就可以了 baidu robot, baidu spider

You need to Sign in before reply, if you don't have an account, please Sign up first.