部署 nginx/passenger/rails 怎么看百度爬虫何时来爬的

zealinux · 2013年01月11日 · 最后由 woaigithub 回复于 2013年01月11日 · 2514 次阅读

现在还不知道百度爬虫是什么 ip, 想看看它是什么时候来过的,什么时候走的,走了哪些链接。

请教各位,需要怎么做?

我要看哪些日志,有这方面分析工具吗

最简单的就是grep --color Baiduspider /var/log/nginx/access.log

日志分析一下就可以了 baidu robot, baidu spider

需要 登录 后方可回复, 如果你还没有账号请 注册新账号