Ruby China

新手问题 想问一下 GitHub Pages 的页面怎么让百度能抓取到

lokyoung · 2015年09月20日 · 最后由 lokyoung 回复于 2015年09月23日 · 3838 次阅读

如题，我的博客是用 github pages 进行建立的。 github pages 貌似会拒绝百度爬虫的抓取（说是由于百度爬虫抓取频率过于频繁导致）。 我也尝试使用了国内的 cdn，但用百度站长进行测试还是无法抓取。 虽说技术博客给不给百度收录也没什么影响，但还是想请教下论坛的各位前辈有没有办法解决这个问题。 Thanks!

Rei #1 2015年09月20日

我才发现百度只收录了我博客两个页面。

lokyoung #2 2015年09月20日

#1 楼 @rei 好像访问量高的才会收录，你的很高所以给收录了吧。我的直接爬取失败。。

embbnux #3 2015年09月21日

百度站长平台提交看看

lokyoung #4 2015年09月21日

#3 楼 @embbnux 提交了，爬虫还是无法抓取。

bastengao #5 2015年09月22日

github pages 似乎屏蔽了百度爬虫，换 gitcafe pages 就没问题了。

lokyoung #8 2015年09月23日

#5 楼 @bastengao 确实是这样。。不过不想换。。好矛盾。

lokyoung #9 2015年09月23日

#6 楼 @huobazi 可能是因为访问量高吧。有这么个说法。

lokyoung #10 2015年09月23日

#7 楼 @michael_roshen iteye 肯定可以的。

需要 登录 后方可回复, 如果你还没有账号请 注册新账号