Erlang/Elixir 开始打造一个 Elixir 爬虫 欢迎来拍砖

fredwu · 发布于 2017年07月30日 · 686 次阅读
188

一年前的时候当时想要建个爬虫,一是练手(特别是当时 GenStage 刚出炉),二是想要一个自己的爬虫去爬澳洲的一些房产网站。后来由于种种原因,爬虫被搁置了。

过几个星期后会去一家新公司开始写 Elixir,于是这几天又把一年前的代码翻出来,慢慢堆砖。用到了 Elixir 1.4 的 Registry,也许不会用到 GenStage 但说不定可以用到 Flow... 这个库还在打造中,我会慢慢开始实现 README 里面写的这些功能。

代码在这边: https://github.com/fredwu/crawler

另外昨晚顺便也把一年多前发布的两个 machine learning 库小小的更新了一下,感兴趣的同学可以来看看:

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册