一、背景
随着越来越多的传统业务云化和云端业务发展,数据上云和云端数据处理领域的需求爆发式增长。腾讯云存储网关 CSG 提供一键部署开箱即用的便捷模式,深度结合 COS 对象存储生态,为用户提供方便快捷的数据上云通道,有效满足业务数据备份、数据上云和云上数据处理的需求。
腾讯云存储网关 CSG 提供文件语义到对象存储语义的转换,依托 COS 对象存储的海量存储能力,使用户通过本地文件协议即可读写云端 COS 数据,无需对现有业务做任何侵入式开发,即可使业务获得接近无限容量的文件系统使用能力,借助 CSG 热数据缓存能力,业务数据上云后业务侧还能够高效对 COS 里的业务数据进行后续加工处理。
二、业务场景
下文将以视频转码分发业务场景为例,带您了解 CSG 在该场景的应用。
业务侧生产出原始视频流 H264 文件,通过 CSG 将 H264 文件素材同步到 COS,同步后再将 H264 文件作为输入继续转码成 TS 视频文件,最终将 TS 文件的 COS 访问链接发布到客户端侧,供各类客户端访问。
业务架构示意图:
1、依据业务规模部署存储网关 CSG,通过腾讯云存储网关控制台一键部署或者通过腾讯云 COS 控制台一键部署。
CSG 控制台一键部署网关
COS 控制台一键部署网关
2、业务服务器中挂载 CSG 文件系统。
使用下列命令实现 NFS v4.0 挂载
3、业务上传原始 h264 视频文件到 CSG 文件系统素材目录。
4、业务通过 CSG 文件系统,直接对素材目录中的文件执行转码操作,输出新文件到转码输出目录。通过 CSG 执行转码操作和本地磁盘执行转码操作在默认情况下性能接近,当使用自定义 SSD 机型的 CSG 时,将获得比本地普通磁盘更高的 IO 性能,单台 CSG 吞吐量可达 1GB/s。
5、原始素材和转码后的文件均通过 CSG 同步到 COS 存储桶,实现素材和输出文件同步到云端 COS。
6、通过 SCF 云函数感知 COS 存储桶转码目录路径中的对象创建事件,将对象创建事件发布到业务指定 CMQ 消息队列。
SCF 云函数示例
7、业务服务通过业务指定 CMQ 消息队列进行消费,获取转码文件已成功上传到 COS 的事件信息,将对应文件的 COS 加速域名发布到客户端服务,使客户端能够通过 COS 加速域名下载浏览最终文件。
三、结语
存储网关 CSG 依托 COS 对象存储生态,为业务提供接近无限容量文件系统的使用能力。
通过存储网关的热数据缓存能力,业务能够对流程中前一步上传的文件进行高效加工处理,直接在 CSG 生产出后续业务流程所需的数据,并通过 CSG 将这些数据自动同步至 COS。
整个数据上云和数据处理过程,均通过本地文件系统接口来操作,无需业务做侵入式改造,即可使业务数据上云并对数据进行加工处理,并可直接在云端生产出最终结果数据,结合后续 SCF 云函数和 CMQ 消息队列的腾讯云平台能力,可轻松和业务服务联动将云端 COS 数据链接分发至用户业务客户端。