Ddl1st (ddl1st)

爬虫福利 rest-tor

Ddl1st — Sun, 17 Dec 2017 10:47:09 +0800

https://github.com/plusor/rest-tor

rest-tor 是一个基于 tor 的代理服务它可以无限制的变更 IP 去请求目标服务器

目前只是测试版本，等有时间再优化

rest-tor 依赖于第三方 gem 有

activesupport
nokogiri
redis-objects
rest-client
socksify

依赖的第三方包有

安装第三方包

Mac OS: brew isntall tor
Ubuntu: apt-get install tor

USEAGE

Tor.request

Tor.request 类似于 RestClient::Request.execute, 接受的参数有：

method | 默认 get
url
payload
header 或 headers (默认的 User-Agent 会使用常量 Tor::USER_AGENT)
mobile | 默认为 false, 如果为 true, 则使用移动端的 User-Agent
proxy 默认使用 tor 代理，如果为 false 则不使用代理。可以自定义代理如：proxy: 'http://127.0.0.1:8888'
raw 默认为 true, 结果等同于 Nokogiri::HTML(req.body), 如果为 false, 则返回 req.body
format | html, json, string 如果没有指定format则根据 raw 的值 true : html, false : string. 处理结果为对应的格式
mode | 默认为 :default, 根据每个 tor实例请求成功 (RestClient 请求没报错的情况下) 的数量排序，选择成功数最高的那个实例。可选 :order, 根据端口号进行排序。

可以自定义mode

Tor::Dispatcher.register :custom do
  Tor.store.all.sort_by do |(port, tor)|
    tor.c_success
  end
end

Tor.request(url: '...', mode: :custom)

在调用Tor.request时，会占用 tor 实例，如果是多线程并发执行，且没有多余的 tor 实例可用，系统则会自动初始化一个新的实例。

Tor.init 会自动初始化 10 个 tor 实例.

Tor.stop(port) 关闭 tor
Tor.clear 关闭所有 tor
Tor.store.all 查看所有 tor

当 tor 实例失败次数到一定数量后，会自动重启 tor 实例，https://github.com/plusor/rest-tor/blob/master/lib/rest_tor/strategy/restart.rb

TODO

添加测试
代码优化
添加配置项
可自定义重启策略
集成 Mechanize

最后欢迎拍砖和贡献代码

Rails for Bug

Ddl1st — Mon, 10 Jul 2017 20:39:49 +0800

Rails 5+

params = ActionController::Parameters.new

params[:settings] = [ { nil => "¶ (iüª7¶×»ö¾¼k{ï½{ï" } ]

params[:settings].first[:dig]
# => ?

为什么都说 Devise 很慢?

Ddl1st — Wed, 26 Aug 2015 21:06:18 +0800

我用 ab 测试用了和没用 Devise 的结果，感觉没多大区别呀？

用户输入特殊字符保存到数据库后提示 invalid byte sequence in UTF-8

Ddl1st — Wed, 19 Aug 2015 15:00:24 +0800

ruby 2.2.1 rails 4.2.1.rc4 mysql 5.5

用户在输入特殊字符保存到数据库之后，通过页面访问报错 invalid byte sequence in UTF-8

通过日志可以看到，用户输入的特殊字符被转码了 \xED\xA0\xBD, 而且值也存到数据库了。但是在显示出来的时候就报错. User-Agent "Mozilla/5.0 (Linux; U; Android 4.1.2; zh-cn; Coolpad 5891Q Build/JZO54K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"

用 Goliath 或 sinatra-synchrony 可能会遇到啥坑?

Ddl1st — Sun, 16 Aug 2015 21:40:55 +0800

想用 Goliath 来重写 API 服务，提前绕些坑。咨询下各位有什么建议？

命令行版的'浏览器'

Ddl1st — Tue, 08 Oct 2013 22:55:40 +0800

http://blog.envylabs.com/post/62718536773/remote-pairing-and-browser-sharing-with-tmux

Web Console

Ddl1st — Fri, 27 Sep 2013 22:44:16 +0800

https://github.com/rails/web-console

这样的话感觉是不是方便很多？

Mad Dog 域名不能转移吗??

Ddl1st — Thu, 11 Jul 2013 08:22:53 +0800

续费完之后发现不能转移域名，这是个坑吗？

升级 Gitlabhq 到 5.0+ 请确保自己有足够的时间解决问题

Ddl1st — Fri, 05 Jul 2013 02:00:11 +0800

折腾了一晚上，最终选择降到 5.0 为了解决一个小 bug 升级到 5.1,5.1 又有 bug 升级到 5.3, 这下坏了，无法 push 了。

Gitlab 怎么集成 GitlabCI.

Ddl1st — Sun, 09 Jun 2013 11:22:51 +0800

Gitlab v5.0.1-3-g951273f GitlabCI v2.0.0-2-g74c831f 在Merge Requests中，怎么集成 GitlabCI.

Accept Merge Request下面咋看不到 CI build passed for ...

http://blog.gitlab.org/gitlab-4-release/

Mozilla 提供免费手机，旨在提升 Firefox OS 的 App 开发者热情

Ddl1st — Sun, 12 May 2013 12:38:22 +0800

http://cn.engadget.com/2013/05/10/mozilla-free-phones-firefox-os/

Mozilla 已经发布了 Firefox OS 智能手机操作系统，当然一个操作系统能否在市场中生存下来，并且得到消费者的认可，App 的质量和数量至关重要。为了推动这个新平台的 App 能够迅速增长，Mozilla 打算赠送 Geeksphone Keon 手机给开发者。流程很简单，开发者先要向官方提供想要制作的 App 概述或者是想要移植到 Firefox OS 的软件介绍，如果得到 Mozilla 的审核通过，那么就有免费的手机可以拿了。

Geeksphone Keon 机型的规格我们不烦再回顾下，其采用了 3.5 吋 HVGA 屏幕，1GHz Snapdragon S1 处理器，512MB RAM 和一个 300 万像素的后置相机。这个免费送机的活动在这个月底结束，先到先得直到送完为止。所以如果你想参与这个活动的话，赶紧到 Mozilla 官方网站提交相关资料吧。

一行代码，浏览器变临时编辑器

Ddl1st — Wed, 30 Jan 2013 19:55:02 +0800

"程序员 Jose Jesus Perez Aguinaga 在 CoderWall 分享了一个小技巧：在浏览器地址栏中输入一行代码：data:text/html, <html contenteditable> ，回车即可把浏览器变临时编辑器（需要浏览器支持 HTML5 属性 contenteditable）。不少程序员受 Jose 的启发，开始对这行代码加工改造，比如改成支持 Ruby 语法高亮的编辑器……"

使用 Ruby on Rails 和 Eclipse 开发 iPhone 应用程序

Ddl1st — Sat, 26 Jan 2013 12:10:02 +0800

第一部分讨论了如何设置服务器以检测和为 Mobile Safari 提供替代内容。所选用的机制（并不是惟一的实现方法）涉及创建伪 MIME 类型，匹配用户代理字符串和使用 Rails 的 respond_to 机制。

第二部分探究了可能为 iPhone 或 iPod touch 创建的实际内容。使用 iUI 库作为确保 Web 应用程序遵循 Apple 的界面外观指南的机制。得到的应用程序很像是原生的 iPhone 应用程序。该文章介绍了如何创建向下展开的列表结构，类似于 iPhone 的原生邮件应用程序。Apple 建议使用这种结构，因为这种结构易于浏览并且尺寸较小，即使使用较慢的 Edge 网络连接，也可以快速下载。

第三部分介绍当用户浏览到列表结构末尾而应用程序实际上还需要显示一些内容时，应当如何执行操作。iUI 给内容及表单布局提供一些有用功能。本文还介绍一些为应用程序提供特别改进的功能，例如，捕捉用户电话的旋转以及添加显示在 iPhone 主屏幕中的图标。

内容有点老...

魅族 CEO 骂人,元芳你怎么看

Ddl1st — Thu, 17 Jan 2013 17:22:49 +0800

原文地址

Ruby 中双冒号"::" 的功能

Ddl1st — Thu, 10 Jan 2013 12:54:34 +0800

module Foo

  class Bar; end

  class ::FooBar
     def self.method1
       "method1"
     end
  end
end

Foo::Bar
FooBar
FooBar::method1
=> "method1"

那一般的方法用 . 来调用只是个人喜好或约定？

不错的网站，对于 Ruby 来讲

Ddl1st — Fri, 28 Sep 2012 15:49:30 +0800

http://phrogz.net

谁能介绍款游戏手柄？

Ddl1st — Tue, 18 Sep 2012 17:25:08 +0800

突然想玩小时候小霸王上的游戏。淘宝上看很多不是按键不灵就是太难按。昨天买了个，用了下就摔了。按的太难受了。

网站备案方会提供敏感词库吗？

Ddl1st — Wed, 06 Jun 2012 18:27:53 +0800

刚看到有人做的 google 敏感词https://gist.github.com/2849163

Safari 打开关闭的标签页

Ddl1st — Mon, 07 May 2012 19:17:21 +0800

现在才发现原来是 cmd+z 找白天没找着

打印机套打实现方法

Ddl1st — Sat, 28 Apr 2012 11:41:29 +0800

1.把单据做成 html 格式，然后调整 css. 2.扫描一份单据，然后做成页面的背景图，进行定位. 3.做成 PDF 格式的，比较好控制页面位置，以后可以做多种单据的套打，但是要下载再来打，每次都要存在服务器上。

大家可否讨论下你们的实现方式？