新手问题 想问一下 GitHub Pages 的页面怎么让百度能抓取到

lokyoung · 2015年09月20日 · 最后由 lokyoung 回复于 2015年09月23日 · 3684 次阅读

如题,我的博客是用 github pages 进行建立的。 github pages 貌似会拒绝百度爬虫的抓取(说是由于百度爬虫抓取频率过于频繁导致)。 我也尝试使用了国内的 cdn,但用百度站长进行测试还是无法抓取。 虽说技术博客给不给百度收录也没什么影响,但还是想请教下论坛的各位前辈有没有办法解决这个问题。 Thanks!

我才发现百度只收录了我博客两个页面。

#1 楼 @rei 好像访问量高的才会收录,你的很高所以给收录了吧。我的直接爬取失败。。

百度站长平台提交看看

#3 楼 @embbnux 提交了,爬虫还是无法抓取。

github pages 似乎屏蔽了百度爬虫,换 gitcafe pages 就没问题了。

#5 楼 @bastengao 确实是这样。。不过不想换。。好矛盾。

#6 楼 @huobazi 可能是因为访问量高吧。有这么个说法。

#7 楼 @michael_roshen iteye 肯定可以的。

需要 登录 后方可回复, 如果你还没有账号请 注册新账号