新手问题 想问一下 GitHub Pages 的页面怎么让百度能抓取到

lokyoung · 发布于 2015年09月20日 · 最后由 lokyoung 回复于 2015年09月23日 · 1754 次阅读
20875

如题,我的博客是用github pages进行建立的。 github pages貌似会拒绝百度爬虫的抓取(说是由于百度爬虫抓取频率过于频繁导致)。 我也尝试使用了国内的cdn,但用百度站长进行测试还是无法抓取。 虽说技术博客给不给百度收录也没什么影响,但还是想请教下论坛的各位前辈有没有办法解决这个问题。 Thanks!

共收到 10 条回复
1

我才发现百度只收录了我博客两个页面。

20875

#1楼 @rei 好像访问量高的才会收录,你的很高所以给收录了吧。我的直接爬取失败。。

15999

百度站长平台提交看看

20875

#3楼 @embbnux 提交了,爬虫还是无法抓取。

845

github pages 似乎屏蔽了百度爬虫,换 gitcafe pages 就没问题了。

20875

#5楼 @bastengao 确实是这样。。不过不想换。。好矛盾。

20875

#6楼 @huobazi 可能是因为访问量高吧。有这么个说法。

20875

#7楼 @michael_roshen iteye肯定可以的。

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册