玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

天翼云开发者社区
• 阅读 407

对象存储是一种将数据作为对象进行管理的网络存储架构,早期常被用于数据备份归档等场景。随着各行业数字化转型深入,非结构化数据呈现爆发式增长,对象存储作为能够提供可大规模扩展且经济高效的存储方案,其应用愈发广泛,逐渐深入政务、金融等客户的核心业务领域,这也对对象存储的可靠性、可用性提出了更高要求。

基于高可靠的底座、完备的安全防护、一体化的运维管理与容灾设计体系,天翼云对象存储ZOS为企业提供高可用、高可靠的存储服务,应对数据爆发式增长和快速查询需求,保障更多政企客户安全用云。 玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

天翼云对象存储ZOS采用分布式系统架构设计,具有灵活伸缩的接入层和高可靠的分布式架构,可进一步提升存储服务可用性。

灵活伸缩的接入层 ZOS能够支持海量的小文件访问和存储。高达10亿+数据量的单桶存储,是对对象存储产品前端接入网络高负载、高可用性的挑战。天翼云ZOS通过一整套基于CStor-LVS和CStor-Nginx的架构来满足这一需求。 玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

如上图所示,ZOS通过前端接入全互联高速网络,实现了各个节点在负载上的完美均衡。接入节点间通过keepalived的方式实现了LVS节点之间的高可用,在面对单节点故障的场景时,能够迅速做出切换,保证业务的连续性,服务可靠性高达99.995%。

同时,在Router、LVS和Nginx侧,分别实现了各自的一致性Hash,在前端流量持续增长的同时,能够实现用户无感知的热伸缩。

高可靠分布式架构 当ZOS进行文件存储时,会以对象的方式将每个文件切片,并通过Hash计算保证这些分片均匀离散地映射到每个存储节点、每块硬盘上。

在存储单元的选取上,可以根据每个硬盘所在服务器、机架、机房进行识别性选取,进而在多个物理层级上满足服务可靠性的要求。 玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

在底层架构上,ZOS支持多副本和EC纠删码的策略,在充分保证数据准确性、安全性的同时,可以根据需要灵活选择冗余的类型,在容量利用率、性能、可靠性上达到满足客户需求的平衡。

天翼云对象存储ZOS实现高可用还得益于一项关键技术:支持3AZ多活架构

回顾数据存储的灾备技术发展,主要分为以下几个阶段: ✓离线备份 技术发展的早期,人们主要通过移动硬盘、光盘进行数据离线备份(也称为冷备份),实现简单,无需进行大规模的业务部署和改造,但也存在效率低下、安全性可靠性低且恢复困难等问题。随着行业内数据量的激增以及磁带库等备份介质的出现,市场涌现了大批的备份软件厂商,可实现大规模数据的自动化离线备份和恢复。 ✓在线备份 由于离线备份需要中断在线业务,且恢复操作实现复杂,备份厂商结合应用侧研发出在线备份技术(也称为热备份)。在线备份实施时无需中断用户业务,结合快照能够便捷地为用户提供数据强一致性的备份和恢复能力。但是这种方式同样存在数据备份和恢复周期长的问题。 ✓两站点双活&复制 在备份技术发展的同时,数据存储领域也出现了跨站点的容灾技术,最先出现的是两站点的双活、异步&同步复制技术,具有数据在线复制备份、故障恢复时间短等优势。 ✓跨站点多活 伴随着业务可靠性要求的持续升高,多站点多活技术随之诞生,带来了比两站点容灾更高的可靠性能力。传统技术包括两站点构建双活+额外一站点复制等。 玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

对比几种灾备技术特征可以发现: ▪ 在业务恢复难度和时长方面,由于备份涉及多次的数据拷贝和回拷,恢复难度较高且耗时较长; ▪ 在资源利用率方面,利用传统备份和复制技术,备份数据目的端通常不直接承载现网业务,会造成部分业务资源浪费; ▪ 在运维成本方面,双活、多活技术故障场景业务感知小,切换迅速快捷,且无需人工设置备份/恢复规则,更方便客户侧运维人员操作和实施。

另外,备份和传统跨站点容灾技术实际上还是基于数据复制技术实现的,通常至少需要1:1的数据备份,借助压缩又会带来额外的开销,因此整体的存储空间利用率也不高。但在实际使用中,很多用户出于投资成本和可靠性要求等多方面考虑,也会将备份和跨站点容灾技术结合使用。

ZOS为适应云上业务的极速发展和高可用要求,在跨站点多活技术的基础上,研发实现了3AZ(Available Zone,云上架构下的可用区,通常为一个物理站点)多活的容灾架构能力,每个AZ存储节点融合为统一的存储系统,AZ间实现数据自由流动,对外提供无差别的对象存储服务。 玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

ZOS在3AZ多活能力上具备以下几大技术优势,在保有传统跨站点多活技术高可靠性的基础上,为用户提供更好的资源可用性和运维体验。 ✓业务无中断 三站点多活架构,任意一个站点整体故障业务不中断,满足生产系统业务稳定运行的高可靠要求。 ✓故障无感知 站点故障后业务自动切换,上层应用无感知,体验更优。 ✓恢复无干预 站点恢复后,无需人工干预自动重新上线,系统自动进行数据重构,应用正常平稳运行。 ✓资源高可用 通过跨站点分布式纠删技术,充分利用各站点存储空间;3站点多活同时承载业务,提供更优于双活&复制的存储资源利用率。 ✓可视化运维 云上可视化监控状态和告警,轻松实现远程运维。

目前,天翼云在华北、西安、苏州等全国多地实现了3AZ部署。

随着千行百业数字化转型进程的不断加速,云上业务连续性和可用性已成为企业深化信息化建设、保障业务可持续发展的重要着力点。天翼云对象存储ZOS可为企业提供低成本、高可用、易运维的对象存储服务,让企业数据存储无后顾之忧,在数字时代的博弈中稳中求胜。

点赞
收藏
评论区
推荐文章
Stella981 Stella981
2年前
Curve 技术解析之 MDS 元数据管理
Curve简介Curve是网易数帆于今年7月份开源的一个高性能、高可用、高可靠的分布式存储系统(https://www.oschina.net/p/curve),主打高性能、低延迟。Curve设计可以作为多种存储场景的底层存储:例如块存储,对象存储,云原生数据库,EC等。当前Curve已实现高性能块存储,并且基
Wesley13 Wesley13
2年前
AD学习笔记8——活动目录服务的基本安装和配置
ActiveDirectory是用于Windows2000Server的目录服务。它存储着网络上各种对象的有关信息,并使该信息易于管理员和用户查找及使用。ActiveDirectory目录服务使用结构化的数据存储作为目录信息的逻辑层次结构的基础。ActiveDirectory的优点:信息安全性、基于策略的管理、可扩展性、可伸缩性、
云原生多模型 NoSQL 概述
作者朱建平,TEG/云架构平台部/块与表格存储中心副总监。08年加入腾讯后,承担过对象存储、键值存储,先后负责过KV存储TSSD、对象存储TFS等多个存储平台。NoSQL技术和行业背景NoSQL是对不同于传统关系型数据库的一个统称,提出NoSQL的初衷是针对某些场景简化关系型数据库的设计,更容易水平扩展存储和计算,更侧重于实现高并发、高可用和高伸缩
一文读懂天翼云自研 TeleDB 数据库五大关键特性
数字时代下,随着企业向数字化、在线化、智能化高速演进,存储需求呈指数级增长,业务也面临着更多热点和突发流量带来的挑战,这就对数据库安全可靠、超高性能、易运维性提出了更高要求。天翼云自研TeleDB数据库采用云原生架构,具备即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点,可为用户提供稳定可靠的企业级数据库服务,帮助企业圆满解决上述问题。与
天翼云对象存储ZOS高可用的关键技术揭秘
对象存储是一种将数据作为对象进行管理的网络存储架构,早期常被用于数据备份归档等场景。对象存储是一种将数据作为对象进行管理的网络存储架构,早期常被用于数据备份归档等场景。随着各行业数字化转型深入,非结构化数据呈现爆发式增长,对象存储作为能够提供可大规模扩展且经济高效的存储方案,其应用愈发广泛,逐渐深入政务、金融等客户的核心业务领域,这也对对象存储的可靠性、可用
选择天翼云混合云管理平台的五大理由
数字时代下,企业上云成为数字化转型的突破口。云上应用越来越多,云业务容灾备份、分级安全、应用弹性扩展等需求也日益增长。出于对综合成本、多云的差异化优势互补等因素的考量,企业多采用混合云部署策略。混合云,成为云服务市场的重要发展趋势。天翼云混合云管理平台面向企业客户提供资源统一开通、统一管理、统一运营、统一运维,支持对硬件资源和虚拟资源进行纳管,并通过整合天翼
云服务器怎么搭建:从零到运行的基础指南
随着云计算技术的快速发展,云服务器已经成为企业和个人首选的计算服务。云服务器具有高性能、高可用性、安全可靠、灵活扩展等优势,能够满足各种大规模数据处理、存储、应用部署和管理等需求。本文将详细探讨云服务器的搭建,帮助读者从零开始构建并运行云服务器的基础设施。
陈元 陈元
2星期前
6大数据库,挖掘7种业务场景的存储更优解
6大数据库,挖掘7种业务场景的存储更优解download》itzcw.com/5711/关系型数据库(RDBMS)关系型数据库采用表格形式存储数据,通过定义表之间的关系来处理数据。它具有结构化、可靠性高、支持SQL等特点,广泛应用于企业、银行、电子商务等场
彭玘 彭玘
1星期前
Qt 全流程实战企业级项目 – 云对象存储浏览器
Qt全流程实战企业级项目–云对象存储浏览器//xia仔のke:chaoxingit.com/5033/一、引言随着云计算技术的飞速发展,云对象存储已成为企业数据管理的重要手段。为了更好地管理和利用这些数据,一款高效、稳定的云对象存储浏览器成为了迫切的需求。
郑文 郑文
1星期前
Qt 全流程实战企业级项目 – 云对象存储浏览器
Qt全流程实战企业级项目–云对象存储浏览器itzcw.com/9359/一、什么是云对象存储浏览器云对象存储浏览器是一种用于管理和操作云对象存储服务的图形化用户界面(GUI)工具或Web应用程序。云对象存储通常是一种分布式存储系统,用于存储和管理大量数据,
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
494
粉丝
8
获赞
37