Erlang/Elixir 开始打造一个 Elixir 爬虫 欢迎来拍砖
fredwu
·
2017年07月30日
·
7532 次阅读
一年前的时候当时想要建个爬虫，一是练手（特别是当时 GenStage 刚出炉），二是想要一个自己的爬虫去爬澳洲的一些房产网站。后来由于种种原因，爬虫被搁置了。
过几个星期后会去一家新公司开始写 Elixir，于是这几天又把一年前的代码翻出来，慢慢堆砖。用到了 Elixir 1.4 的 Registry，也许不会用到 GenStage 但说不定可以用到 Flow... 这个库还在打造中，我会慢慢开始实现 README 里面写的这些功能。
代码在这边： https://github.com/fredwu/crawler
另外昨晚顺便也把一年多前发布的两个 machine learning 库小小的更新了一下，感兴趣的同学可以来看看：
暂无回复。