Ruby Ruby 和 Python 中对中文的处理

jiz4oh · May 11, 2020 · Last by jiz4oh replied at May 13, 2020 · 3982 hits

背景：小弟最近在对接腾讯云短信的接口，由于腾讯云短信没有提供 ruby 的 SDK，所以按照官方的签名方法自己进行了封装。但是腾讯一直报签名错误，故与腾讯贴出来的 python 代码示例进行了对比，发现问题出在 ruby 和 python 对中文的处理上

第一回合

ruby：

require 'json'
require 'digest'

params = { "key": '' }

u = JSON.dump(params).gsub(':', ': ').gsub(',', ', ')
res = Digest::SHA256.hexdigest(u)
puts res
# 30428a3206c817f42e49331138ba5d36e2a29124876f75fad011f4c1f5b94661

python：

import json, hashlib

params = {"key": ''}

u = json.dumps(params).encode('utf-8')
res = hashlib.sha256(u).hexdigest()
print(res)
# 30428a3206c817f42e49331138ba5d36e2a29124876f75fad011f4c1f5b94661

到这里为止，ruby 和 python 使用 SHA256 算法散列出来的结果是相同的

第二回合

加入中文：

ruby：

require 'json'
require 'digest'

params = { "key": '爱你' }

u = JSON.dump(params).gsub(':', ': ').gsub(',', ', ')
res = Digest::SHA256.hexdigest(u)
puts res
# 3454c5b42519f5be5a953324779d48b7662d25d08e06fe020a5c2248a23921ae

python：

import json, hashlib

params = {"key": '爱你'}

u = json.dumps(params).encode('utf-8')
res = hashlib.sha256(u).hexdigest()
print(res)
# 981727d14419aedca58b2e719b4a9ff94cf20ef91e02c9cd22e7ee6f5744f630

疑惑

不知道 ruby 中对中文的处理和 python 中有何不同，造成了这个偏差？各路大佬可以讲讲吗？

ps：

ruby 版本：2.5
python 版本：3.7
可能有人会对 gsub(':', ': ').gsub(',', ', ') 这个操作感到奇怪，但是如果不做这个处理，结果会是这样

require 'json'
require 'digest'

params = { "key": '' }

u = JSON.dump(params)
res = Digest::SHA256.hexdigest(u)
puts res
# 0944d67c4d96fe949834700d0cb784b99ee5b0b6205b0667d842ece155405df2

2 likes

Rei #1 May 11, 2020

先去掉 gsub(':', ': ').gsub(',', ', ') 看看 json string 有什么区别。

zhuoerri #2 May 12, 2020

我没用过 python，但我执行你的 python 代码

import json, hashlib

params = {"key": '爱你'}

u = json.dumps(params).encode('utf-8')
# b'{"key": "\\u7231\\u4f60"}'

返回的结果里，是单引号包着双引号。因此\u被转义成了\\u。于是顺着这个思路，我把部分中文 utf8都 gsub 成了\\uXXXX 的形式

require 'json'
require 'digest'

params = { "key": '爱你' }

u = JSON.dump(params).gsub(':', ': ').gsub(',', ', ').gsub(/[\u4e00-\u9fa5]/) do |s| "\\u#{s.unpack('U')[0].to_s(16)}" end
res = Digest::SHA256.hexdigest(u)
puts res
#  981727d14419aedca58b2e719b4a9ff94cf20ef91e02c9cd22e7ee6f5744f630

jiz4oh #3 May 12, 2020

Reply to

Rei

ruby 中的 json string 会是 {"key":""} 和 {"key":"爱你"} python3 中的 json string 会是 b'{"key": ""}' 和 b'{"key": "\\u7231\\u4f60"}' python3 中字符串前面一个 b 代表的是非 unicode 编码 (因为此处被编码为 utf-8)，\\u7231\\u4f60 是因为 python3 中默认编码为 unicode (中文先被转为了 unicode)

jiz4oh #4 May 12, 2020

Reply to

zhuoerri

这是一个解决方案，有更优雅的吗

Rei #5 May 12, 2020

hash = { key: '中文' }
JSON.generate hash
# => {"key":"中文"}
JSON.generate hash, ascii_only: true
# => {"key":"\u4e2d\u6587"}
JSON.generate hash, ascii_only: true, space: ' '
# => {"key": "\u4e2d\u6587"}

1 likes

zhengpd #6 May 12, 2020

@Rei 的方法可以

irb(main):032:0> Digest::SHA256.hexdigest JSON.generate({ "key": '爱你' }, ascii_only: true, space: ' ')
"981727d14419aedca58b2e719b4a9ff94cf20ef91e02c9cd22e7ee6f5744f630"

Rei #7 May 12, 2020

逗号后面加空格没找到选项。

jiz4oh #8 May 12, 2020

Reply to

Rei

感谢~

jiz4oh #9 May 12, 2020

Reply to

Rei

# * *space*: a string that is put after, a : or , delimiter (default: ''),

generate 方法的 space 选项被说明为可以添加逗号后面的空格，但现在确实未生效，可能是一个 BUG？

zhengpd #10 May 12, 2020

Reply to

Rei

ruby 确实没有提供选项可以把 [1,2,3] => [1, 2, 3]，有个 array_nl 不过会在方括号内侧也加上空格：

irb(main):004:0> JSON.generate({ "key": [1, 2, 3] }, ascii_only: true, space: ' ')
"{\"key\": [1,2,3]}"
irb(main):005:0> JSON.generate({ "key": [1, 2, 3] }, ascii_only: true, space: ' ', array_nl: ' ')
"{\"key\": [ 1, 2, 3 ]}"

这样与 python 结果还是不一样。

gsub(',', ', ') 是个简单可行的办法，前提是不考虑对内容本身自带 , 的影响。

Stone #11 May 12, 2020

可以做个 gem 放到 github

zhengpd #12 May 12, 2020

Reply to

jiz4oh

刚醒悟过来你们说的可能是 kv 与 kv 间隔的逗号而不是数组里的逗号。

space 选项不知道是文档没写好还是代码没写好，我看了下 ruby 逻辑，目前是只对 : 生效的。

https://github.com/ruby/ruby/blob/ruby_2_5/ext/json/generator/generator.c#L923

看 github 代码 state->space 只是 append 到 object_delim2 (:)，没有 append 到 object_delim (,) 和 array_delim (,) 。

Rei #13 May 12, 2020

Reply to

jiz4oh

官网文档是这样：

space: a string that is put after a : pair delimiter (default: '')

没有说 ,。

https://ruby-doc.org/stdlib-2.7.0/libdoc/json/rdoc/JSON.html#method-i-generate

zhengpd #14 May 12, 2020

Reply to

Rei

2.7.1 多了两个逗号

space: a string that is put after, a : or , delimiter (default: '')

https://ruby-doc.org/stdlib-2.7.1/libdoc/json/rdoc/JSON.html#method-i-generate

nouse #15 May 12, 2020

如果腾讯客户端用的是 Python，那要想办法把中文转码成 ascii

In [1]: import json                                

In [2]: params = {"key": '爱你'}     

In [3]: params                                     
Out[3]: {'key': '爱你'}

In [4]: json.dumps(params)                         
Out[4]: '{"key": "\\u7231\\u4f60"}'

In [6]: json.dumps(params, ensure_ascii=False)     
Out[6]: '{"key": "爱你"}'