在数字化转型浪潮中,如何存储和利用好数据,是企业面临的首要问题。相比于传统互联网全面拥抱云,产业互联网在数字化转型过程中,通常第一步是利用云存储来归档数据。
随着业务的增长,企业积攒了大量重要数据,一些数据在经过清洗和处理后,需要长期保存,以备将来进一步分析;一些数据则是出于行业监管和合规的要求,需要长期保存。典型的数据归档业务场景包括:
1、金融交易:交易日志、票据影像、双录视频;
2、视频监控:安防监控、交通监控、个人视频监控;
3、生命科学:医疗影像数据、电子病例、基因测序数据;
4、广告营销:电子商务日志、广告营销日志;
5、娱乐游戏:短视频、社交数据、游戏日志;
6、媒资视频:视频影像、在线课程视频;
7、自动驾驶:视频采集、遥感监控、激光雷达;
8、科研教育:天文观测、高能物理、海洋监控、油气勘探、地震预测。
谈到数据归档,就绕不过磁带库。
一、磁带库的问题和挑战
从第一款磁带机面世,磁带技术已经有 50 多年历史了。虽然磁带技术经过多轮演进,并在企业级数据归档存储市场上占有特殊地位,但是仍然面临很多问题和挑战:
1、前期投入大,需要一次性投入购买磁带库,需要复杂的管理和运维工作;
2、磁带长期保存需要特殊的物理环境条件,一旦受潮,磁带会退化或者霉变,即使看起来完好无损,数据也可能无法恢复,数据丢失的风险非常高;
3、虽然磁带具备比较长的寿命,为了保证数据可靠性,需要定期进行数据迁移,这是一项耗时费力的任务;
4、数据恢复时间长,对于离线保持的磁带,需要人工参与恢复流程;
公有云发展到今天,云存储产品通过不断的创新,在保证安全、可靠的基础上,存储成本得到持续降低。对比传统磁带库归档方案,客户有了更具性价比的选择。
二、腾讯云深度归档介绍
腾讯云近期发布了深度归档存储,一款新的对象存储 COS 类型,可以提供低成本、安全持久的数据存储服务。相比于低频存储和归档存储,其价格更低,适用于存储访问频率极低(如半年一次)但需要持久存储的数据,如日志审计数据,安防监控数据等。其安全性、持久性、低价格等特性,能最大程度的满足冷数据存储的诉求。
深度归档存储在软件架构、硬件设备、任务管理系统上都进行了全新升级,通过全新的架构最大程度的提升设备的利用率,为用户降低存储成本。深度归档存储费用仅为 0.01 元/GB/月,对比磁带归档,总体 TCO 下降 20%。
深度归档提供两种数据恢复选项:
1、标准模式:数据可以在 12 小时内完成恢复; 2、批量模式:恢复成本低,数据可以在 48 小时内完成恢复;
对比传统磁带库,云上归档提供了更简单、更快速的数据恢复服务。
同时,深度归档存储具备 99.999999999%(11 个 9)的数据持久性,比传统磁带库提供更高的可靠性。
三、云上归档解决方案
1、结合商业备份软件服务
当前,主流商业备份软件都完成了与腾讯云对象存储 COS 的对接认证,客户可以根据归档数据的保存时长、访问频率、恢复时间等条件,选择合适的对象存储 COS 类型作为归档介质库。
在不改变现有归档业务流程的情况下,通过备份软件上创建对象存储 COS 归档介质库,并配置访问 Bucket 相应的权限认证信息,就可以将数据直接归档上云。
架构上,备份软件通常由备份管理服务器、备份服务器和备份客户端构成。备份服务器直接访问对象存储 COS,支持类型包括标准存储、低频存储、归档存储和深度归档存储。
备份服务器将数据压缩、去重后,可以直接写入深度归档存储,或者先写入标准存储后,通过生命周期管理自动沉降到深度归档存储。例如,7 天以内的数据保存在标准存储,便于随时恢复数据;7 ~ 30 天的数据沉降到低频存储,作为温数据以备突发访问;超过 30 天后,沉降到深度归档,进行长期归档存储。
云上归档解决方案提供端到端的加密服务,确保数据安全。默认情况下,数据通过 HTTPS 协议加密传输上云,保证数据传输过程中的安全。通过备份软件自身的加密功能,或者对象存储 COS 的加密服务,数据加密后存储,保证数据存储过程中的安全。
2、通过文件存储网关归档
如果备份软件还不兼容对象存储 COS,可以借助 CSG 文件存储网关,通过备份软件创建 NAS 归档介质库,间接归档数据到云上深度归档存储。
文件存储网关(Cloud Storage Gateway,CSG)是一种混合云存储服务,CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据,无缝接入公有云,实现数据的上云。可以根据业务需求灵活地部署在云上或者本地,轻松地进行数据的上云、归档以及灾难恢复。
CSG 会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据的安全持久性。CSG 能够根据时段分配调度上传下载的带宽,在带宽资源紧张时,可以限制网关占用的带宽,以免影响自有业务;而在业务空闲时则可放开限制,充分利用带宽资源。
数据上云后,同样借助 COS 生命周期管理功能,完成数据沉降到深度归档,进行长期归档存储。
3、离线数据搬迁上云
如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务 CDM 专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。
云数据迁移(Cloud Data Migration,CDM)是腾讯云提供的 TB~PB 级别的数据迁移上云服务。提供安全可靠的离线迁移专用设备,解决本地数据中心通过网络传输时间长、成本高的问题。
CDM 迁移设备使用标准的电源,支持 ext4、NFS、CIFS、HDFS 等多种文件系统,用户无需担心数据中心环境兼容问题。
采用 256 位加密密钥对数据进行自动加密,保证第三方无法从磁盘获取文件信息。迁移完成后,对设备上的数据进行彻底擦除,确保数据不会被泄露读取。
四、云上归档的主要优势
1、更高的可靠性
深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达 99.999999999%(11 个 9)的数据持久性,数据的耐久性远高于磁带库。
2、端到端的加密保障数据安全
对于数据的存储,对象存储服务端加密可以对存储的数据进行加密,保证用户的隐私,用户访问时会自动解密。对于数据的传输,对象存储提供用 HTTPS 部署 SSL 证书实现加密的功能,在传输链路层上建立加密层,确保数据在传输过程中不会被窃取及篡改。
3、成本低、免运维
使用深度归档存储,您无需采购硬件、部署和运维,避免前期高额投入,节省了运维工作和托管成本。对象存储支持按需按量使用,您无需预先支付任何预留存储空间的费用,对比磁带库总体 TCO 降低 20%。
4、数据恢复时间短
整个数据恢复流程完全自动化,无需人工参与。采用标准恢复模式下,数据可以在 12 小时内完成恢复。
5、支持跨区域数据复制功能
通过配置对象存储跨地域复制规则,可以在异地区域的存储桶中自动、异步地复制数据,满足行业对归档数据跨地域保存的合规性要求。
6、兼容性主流备份软件
目前,支持对象存储 COS 的主流商业备份软件厂商包括:Commvault、Veritas、Veeam、爱数、鼎甲、云信达、木浪云、科力锐等。后续会有更多的厂商完成对接和认证。
五、写在最后
数字化转型为企业业务的快速增长提供原动力,数据作为企业核心资产,需要高可靠、低成本的归档方案。随着腾讯云 COS 深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。