现在还不知道百度爬虫是什么 ip, 想看看它是什么时候来过的,什么时候走的,走了哪些链接。
请教各位,需要怎么做?
我要看哪些日志,有这方面分析工具吗
最简单的就是grep --color Baiduspider /var/log/nginx/access.log吧
grep --color Baiduspider /var/log/nginx/access.log
日志分析一下就可以了 baidu robot, baidu spider