marketing_upyun

系列干货|Token 防盗链算法详解

marketing_upyun — Wed, 15 Mar 2017 14:31:39 +0800

前言

随着互联网的高速发展，无论是移动 APP 还是 WEB 站点，访问的安全问题始终困扰着内容提供商。CDN ( Content Delivery Network，内容分发网络 ) 服务作为当今互联网世界的快递专家扮演着更重要的角色，也承担了更多的使命，在使用 CDN 服务的过程中，内容提供商提出了如下要求：

内容资源在经过 CDN 分发时，不被其他人恶意引用或者被非法下载
确保在使用 CDN 服务的过程中避免产生不必要的 CDN 带宽浪费，从而节约成本
CDN 服务提供商提供的防盗链措施不容易被破解和绕过

基于以上要求，又拍云作为云 CDN 厂商的代表，认为传统的 IP 禁用、referer 防盗链、User-Agent 防盗链、地区访问控制等防盗链措施已经无法完全满足用户要求，今天我们专门来介绍一下更加高级的 token 防盗链。文章的末尾，为了实现更加灵活的 token 防盗链配置，我们引入了又拍云自定义 rewrite 功能。

如何实现

Token 防盗链是通过对时间有关的字符串进行签名，将时间、签名信息通过一定的方式传递给 CDN 节点服务器作为判定依据，CDN 边缘节点依据约定的算法判断来访的 URL 是否有访问权限。如果通过，执行下一步；如果不通过，响应 HTTP 403 状态码或者通过 302 跳转到其他 URL。

1、签名参数

etime: URL 过期的时间，必须是 UNIX TIME 格式，如：2017/3/9 9:19:0 -> 1489022340

全文阅读： http://support.upyun.com/hc/kb/article/1028167/

无连麦，不直播|直播连麦技术点详解

marketing_upyun — Mon, 13 Mar 2017 13:52:24 +0800

连麦互动直播的主要技术难点在于：

低延时互动：主播和互动观众之间就像电话沟通，为确保主播和互动观众之间能够实时互动，必须保证两者能在秒级以内听到对方的声音，看到对方的视频；
音画同步：互动直播中对音画同步的需求和单向直播中类似，只不过互动直播中的延迟要求更高，必须保证在音视频秒级传输情况下的秒级同步。
音视频实时合成：其他观众需要实时观看到对话结果，因此需要在客户端或者服务端将画面和声音实时合成，然后以低成本高品质的方式传输至观众端。

为了实现互动实时性高的连麦，首先需要有一套实现了类似微信、Skype 及 Facetime 的多人音视频实时通话系统。这套实时通话系统可以选择自主研发或者基于开源软件如 Google 的 WebRTC 做二次开发。下面简单介绍多人实时通话系统的一些重点技术细节。

无连麦，不直播 | 直播连麦技术点详解原文阅读：http://support.upyun.com/hc/kb/article/1026585/

最直观的动态 webp 压缩效果

marketing_upyun — Tue, 07 Mar 2017 11:44:17 +0800

WebP，是一种同时提供了有损压缩与无损压缩的图片文件格式，派生自视频编码格式 VP8。WebP 最初在 2010 年发布，目标是减少文件大小，但达到和 JEPG 格式相同的图片质量，希望能够减少图片档在网络上的发送时间。2011 年 11 月 8 日，Google 开始让 WebP 支持无损压缩和透明色的功能。

根据 Google 较早的测试，WebP 的无损压缩比网络上找到的 PNG 档少了 45％的文件大小，即使这些 PNG 档在使用 PNGCRUSH 和 PNGOUT 处理过，WebP 还是可以减少 28％的文件大小。就目前而言，Webp 可以让图片大小平均减少 70%。WebP 是未来图片格式的发展趋势。

最直观的动态 WebP 压缩效果测试：https://www.upyun.com/webp.html

带你走进准确率高于 99.7% 的智能鉴黄功能

marketing_upyun — Thu, 16 Feb 2017 11:10:31 +0800

2016 年迎来直播和短视频大爆炸，直播类应用在中国区 App Store 上线已超 500 款，无数创业者奔赴直播和短视频浪潮。

视频、直播行业一片繁荣，涉黄却是行业心头大患，加上有关部门对传播淫秽信息的严格监管。直播、视频平台需要投入大量成本和人力进行图片、视频管理。从技术上而言，直播具备实时性，人工鉴黄无法做到 24 小时实时审查，点播可以通过插入片头等方式进行伪装，加大了鉴黄的难度。

又拍智能鉴黄鉴黄准确率高于 99.7%

深知鉴黄、广告识别是内容审核者的痛点，又拍云于去年推出智能鉴黄功能，能实时识别敏感图像，并提供监控告警，可以大幅提升运营审核效率。

又拍云“智能鉴黄”功能将自动对直播、视频、图片等内容进行鉴别。目前在一张图片鉴黄的完整过程是将它拿到鉴黄中心鉴别，完毕后，再把结果发送至图片审核平台进行最终确认。又拍云图片鉴别中心自动将最终审核结果再一次回源至又拍云服务器，并利用人工智能的前沿技术正向训练法和逆向训练法锻炼“图片鉴黄能力”，正向训练和逆向训练不停的吸取图片数据，使得又拍云鉴图中心能不断的记忆涉黄图片和正常图片。

在千万级图片数据的导入下，又拍云鉴图中心最新一次的涉黄图片识别率已高达 99.7%，随着图片的不断积累，又拍云涉黄图片的识别率将无限趋近于 99.99%。

视频点播、直播智能鉴黄

又拍云系统按默认 6s 时间间隔对点播和直播视频进行截图（关键帧提取），然后对截图进行鉴黄。如果视频是高敏内容，可以设置更小的时间间隔。

视频点播方面，如果是新增视频，可以使用上传预处理接口，把视频上传至又拍云存储的同时，进行鉴黄。

如果视频已经存在又拍云存储，可以使用直接处理接口，进行鉴黄。处理方法如下：

以 POST 方法向 http://p0.api.upyun.com/pretreatment/ 提交处理任务，响应中返回任务 task_id。任务以异步的方式处理，处理完成后，回调通知用户处理结果。视频直播方面，根据直播特性，又拍云为视频直播设计了专门的接口，包括创建任务接口如下：

以 POST 方法向 http://p1.api.upyun.com//liveaudit/create 提交任务。其中需替换为具体的服务名。

又拍云视频点播、视频直播鉴黄功能文档现已全新上线。

实战干货|如何利用动态 URL 提升 SEO 及处理业务逻辑

marketing_upyun — Mon, 09 Jan 2017 14:13:46 +0800

如果你正在建设一个新网站或者对现有网站重新设计，我们认为应该将网站的 URL 转换为用户友好的 URL，或搜索引擎友好的 URL，这类 URL 也称为语义 URL（Semantic URL）。哪些 URL 是语义 URL 呢？通过如下举例来进行说明。首先来看一下搜索引擎比较厌烦的 URL：

http://example.com/product.php?id=28&name=phone....

很明显，当你看到这样的 URL 时，根本弄不清楚当前看到的是那个产品的信息。所以，我们有必要将 URL 改成以下形式的链接：

http://example.com/product/28/phone/....

可以看到转换之后的 URL 更容易被看懂，这类 URL 就是语义 URL。

除此之外，网站一些业务逻辑的实现你更希望放在云平台上来进行计算和处理，直接在 CDN 边缘网络中来执行前向重写逻辑，避免对数据中心来回提出请求，一方面可以提升用户体验，另一方面可以减轻源站压力。这些业务逻辑的处理包括如下：

请求重定向
请求禁止
HTTP 头部修改
请求限速策略

以上业务逻辑的处理，你都可以通过又拍云自定义 rewrite 规则来实现。那什么是自定义 rewrite？如何配置 rewrite 规则来实现业务逻辑及 URL 改写？接下来的章节我们会一一展开。

什么是自定义 rewrite ?

又拍云自定义 Rewrite 是基于 DSL ( Domain Specific Language) 理念来设计的，主要面向开发者使用。充分利用又拍云 CDN ( Content Delivery Network ) 分布式边缘网络的性能及规模，通过又拍云管理控制台可轻松创建 Rewrite 规则，可以实现对 URL 的改写、重定向、自定义 HTTP 头、请求禁止等处理逻辑。详细介绍可参见自定义 Rewrite。

举个例子：

最常见的做法，就是将一组 URL 层次结构字符串，转换成带有 Query String 的 URL，或是反向转换，例如：

http://www.upyun.com/1/test/test

经过 URL 重写后，实际的 URL 为：

http://www.upyun.com/1/web/index.php?test/test

因此，最终你可以使用较直接的方式来输入 URL（这也是 REST 的主要目的），是搜索引擎优化（SEO）的作法之一。而应用程序开发者可以利用这个机制来将参数隐藏起来，可避免让网络上的恶意用户收集到有利于发动攻击的信息。

如何配置？

通过以上章节，已经理解什么是自定义 Rewrite 了。接下来，就是如何进行 Rewrite 规则的编写和调试了。

准备工作

1、创建 CDN 服务

如果你需要配置自定义 Rewrite 规则，前提条件是在又拍云平台创建 CDN 服务，具体创建步骤可参见创建服务。

2、熟悉 Rewrite 函数、变量、字符串变量及其使用方法

自定义 Rewrite 支持的函数超过 40 个，变量超过 15 个。所以你必须要理解和熟悉每个函数及变量的含义以及使用方法，才可以开始编写规则。详细了解请参见自定义 Rewrite。

3、确定需要 Rewrite 的 URL

编写规则

又拍云自定义 Rewrite 规则包括 URL 提取正则和 Rewrite 规则两个部分，分别对应下面的 pattern 和 rule 部分，具体参见如下示例：

1.pattern:^pay/([0-9]+)/([0-9]+)/(.*?).htm$

2.rule:/pay.php?payid=$1&categoryid=$2

第一部分：正在找什么？

上述的 pattern 也即 URL 提取正则，以上正则表达式定义了正在找什么。此处我们将该正则表达式进行拆分下，然后一一对应，假如示例 URL 为：

http://example.com/pay/25/8/... 1、^pay/告诉 Web 服务器，试图匹配的 URL 必须以 pay/这个字符串开头，这与示例 URL 中的 pay/匹配；

2、接下来的 ([0-9]+) 告诉 Web 服务器在/后面紧跟的是 0-9 之间的数字，该数字至少出现一次，用来匹配的 rule 中的 payid；

3、继续匹配/，然后又是一个 ([0-9]+)，道理一样，用来匹配 rule 中的 categoryid；

4、继续匹配/，(.*?).htm 匹配任何以.htm 为后缀名，由任何数字或者字符为前缀；

5、最后，$表示匹配匹配字符串结尾。

第二部分：到哪里去？

这里就不详细介绍了，该规则是常规的动态 URL 的解析。以上规则生效之后，会将 URL：

http://example.com/pay/25/8/...
转换为 http://example.com/pay.php?payid=25&categoryid=8... 最后的配置界面如下图所示：

配置测试

以上规则已经编写完毕，如何进行调试，确保以上规则书写正确，这个时候需要使用到调试模式，默认为开启状态。可以使用命令行工具 curl 即可对规则进行调试：

1.curl-H"X-Upyun-Rewrite-Preview: true"http://example.com//pay/25/8/... -v

正式启用

以上经过调试，确定该 Rewrite 过程符合预期后，即可将调试模式关闭，此时该 Rewrite 过程会对所有命中的请求生效。

成功案例

URL 重定向

1.rule:$WHEN($NOT($EQ($_URI,/live.html)),

$NOT($_COOKIE_token))$REDIRECT($_SCHEME://$_HOST/live.html)

规则解释：当 cookie 中 token 值为空时，则跳转到指定到地址$_SCHEME://$_HOST/live.html。

修改 HTTP 头部

1.rule:$DEL_REQ_HEADER(If-Range)

规则解释：删除 If-Range 请求头，忽略 If-range 头部。

更多案例请参见地址：https://www.zybuluo.com/wuxuejun/note/571365（访问密码：upyun）

核心价值总结下，又拍云自定义 Rewrite 具有如下优势及价值，罗列如下：

1、可以配合网站将动态 URL 转换为语义 URL，以改善搜索引擎索引编制，从而提高 SEO 排名；

2、在又拍云的边缘网络中执行前向重写逻辑，避免对数据中心来回提出请求，从而提高服务性能并减轻工作量；

3、应用程序开发者可以利用 URL 改写这个机制来将参数隐藏起来，可避免让网络上的恶意用户收集到有利于发动攻击的信息

4、充分利用又拍云 CDN 平台的性能及规模，可靠且可扩展，服务能力可以得到最大化；

5、充分利用又拍云 CDN 边缘网络的计算能力，减轻客户源站计算压力，进而节省资金开销，有效降低成本；

6、基于 CDN 平台，可以快速部署和下发，全网可以在一分钟之内生效；

附福利：免费 SSL 证书申请

全站 HTTPS 第一步：免费 SSL 证书申请指南

marketing_upyun — Wed, 04 Jan 2017 14:30:04 +0800

升级 HTTPS 有什么好处？这个话题老生长谈了，什么防劫持、提升安全性、提高用户体验……这次不重复了，这次只说两点：

1、2017 年起，上传到苹果 App Store 的 App 必须支持 HTTPS

2、Google、百度优先收录 HTTPS 站点、页面。

升级 HTTPS 之前要干嘛？当然是申请一张靠谱的 SSL 证书了。SSL 证书是支持 HTTPS 网站的一个身份证明，也就是说，有了 SSL 证书才能上线 HTTPS。

免费 SSL 证书申请指南》》

善用自动化工具，实战构建监控报警系统 | 线上活动

marketing_upyun — Tue, 20 Dec 2016 11:58:59 +0800

线上分享活动第三期又来啦~这次，又拍云的应用开发工程师孙焕然将分享自己在“构建应用服务的监控报警系统”的相关经验及观点。监控报警系统有什么用呢？不少创业团队，在开发之初往往着重于功能的实现，就可能降低对代码质量、算法性能以及架构设计的要求。构建监控报警系统后，可以消除不易被发现的潜在问题，轻松排查突发问题，保障产出的代码质量，保证上线后稳定运行。

分享概要

如何运用自动化工具去监控与报警

不同数据源采集与传输的最佳方式

善用规则引擎 Luna，让开发者感觉更友好

如何高度整合 Hubot 和 Slack，打造报警通知系统

活动介绍

分享时间：12 月 22 日 20:00

分享嘉宾：孙焕然（又拍云应用开发工程师）

分享主题：如何构建应用服务的监控报警系统

分享形式：微信群图文分享

分享时长：45 分钟主题分享 +15 分钟 Q&A

嘉宾介绍

孙焕然，又拍云应用开发工程师。负责团队基础技术研发，对分布式系统理论、存储引擎技术略有研究。

报名方式

微信添加“upyun1111”，与又小拍成为好友即可听课哦~（添加好友时请备注“参加分享”）

如何快速上线全站 HTTPS

marketing_upyun — Thu, 15 Dec 2016 15:15:32 +0800

年底了，很多事情都要收尾了，听说互联网行业各大公司正在如火如荼地升级 HTTPS，那现在 HTTPS 上线是个什么情况？推荐一篇如何快速上线全站 HTTPS 的干货。https://segmentfault.com/a/1190000007798343