5G时代,为什么NoSQL和SQL存在短板?

青眼虎
• 阅读 227

01 介绍

当今的通信服务提供商(CSP)需要能够在处理海量复杂的数据的同时,不会下降或者减慢网路响应速度和可靠性。5G时代,设备和用户数量呈指数级增长,这对业务支持服务(BSS)提出了新需求,也成为了一项特别艰巨的任务。
正如您目前所看到的现实情况,电信网络策略响应,个性化报价或防止欺诈交易等应用程序,必须能够在几毫秒内对数据事件做出反应,才能增加营收或防止亏损。
为了更好地满足这些日益复杂的需求,CSP需要知道如何在日益拥挤的数据库环境中进行最佳地数据管理,而且这类场景似乎每年都会出现新的类别。最新类别则是NewSQL,它为NoSQL和SQL数据库无法提供的电信公司提供了独特优势,尤其是在实时数据处理方面。当今的数据库需要遍历整个数据从获取到执行的整个生命周期,且必须在10毫秒或更短的时间完成。环顾四周,目前只有NewSQL数据平台才能实现这一目的。
本文阐述了SQL,NoSQL和NewSQL数据库之间的主要区别,并解释了为什么NewSQL数据库是电信行业顺应时代发展的关键,以及在5G时代,CSP如何充分利用各种数据库技术对其网络进行高效运维管理。

02 NewSQL缘起

NewSQL是451 Group的分析师Matt Aslett创造的一个术语,用来描述一组新的数据库特性,这些特性既继承了传统SQL关系数据库的许多功能,同时也提供NoSQL技术的某些优势。
NewSQL系统为现实提供了两全其美的方案:关系数据模型和传统数据库的ACID事务一致性;继承SQL的交互便利性以及NoSQL的可扩展性和速度。有些系统提供了比NoSQL解决方案更强的一致性保证,尽管有人认为“可调”的一致性是伪一致性,但也并不完全符合ACID。
当然,NewSQL解决方案之间也存在差异。SAP HANA可以处理少量的事务性工作负载,但是没有本地集群的优势。NuoDB是一个群集优先的SQL数据库,专注于云部署,但是吞吐量很差。MemSQL对于集群分析很有用,但是其可调整的一致性并非严格意义上的ACID事务。NuoDB和MemSQL都具有计算和存储分离的特点,因此它们可能会遇到数据传输和同步(尤其是围绕事务的同步)的问题。
ACID 原则
大多数关系数据库都遵循ACID(原子性、一致性、隔离性和持久性)原则,而大多数NoSQL数据库是BASE(基本可用、软状态、最终一致性)原则。
NewSQL数据库,如VoltDB,为联机事务处理(OLTP)工作提供了NoSQL系统的可扩展性,同时遵从了传统数据库系统的ACID保证。

03 电信业场景下的NewSQL与NoSQL

既然我们已经注意到了SQL、NoSQL和NewSQL的基本区别,以及他们各自的优缺点。接下来,就让我们深入了解下,电信业运营商和开发人员真正关心NoSQL和NewSQL的哪些特性,他们可以使用NoSQL解决哪些问题?

  • 我可以使用NoSQL解决哪些问题?
  • NoSQL在哪里使用不合适?
  • 如何利用NoSQL和NewSQL的优势?

我们不怀疑NoSQL数据库非常契合许多工作场景,但是在某些特定场景下,NoSQL技术可能并不是能选择的最佳的解决方案。
下一节会对比NewSQL和NoSQL在电信业数据管理的4个关键考量指标:可扩展性,可用性,数据一致性以及快速响应。

3.1 可扩展性

NoSQL
随着5G蓬勃发展以及通信设备的迅速增长,电信业企业需要升级扩展其现有的数据管理方式。
最初NoSQL因为在互联网行业中类似Google,Facebook和Twitter广泛采用,以解决他们海量规模化数据管理时,才开始引起人们的注意。这些平台处理大量非结构化数据流入:Web搜索、移动设备、用户状态更新、信息流等。
在这些场景中,最重要的考量因素是可扩展性。数据库必须大规模快速地扩展。关系模式和扩展传统SQL数据库无法应对海量数据增长和处理,在传统SQL数据库维护海量数据和多样化查询处理请求的成本和效率是很难接受的。
NoSQL系统最重要的特性是能够在通用的硬件设备上扩展应用程序的能力。对于需要水平无限制扩展的需求场景,NoSQL可能是正确的选择,NewSQL和NoSQL在扩展性上并没有太大区别。
但是,NoSQL数据库为了扩展性而在几乎所有其它方面折衷,这对于仅依靠NoSQL的电信业公司来说有很大问题。

NewSQL
尽管NoSQL关系数据库系统提供了可扩展性选项,但通常这一成本很高。NewSQL系统也在致力于应对系统扩展性的挑战,同时它继承了传统RDBMS的事务性和SQL标准。
在典型场景中,内存中的大规模并行SQL关系数据库,该数据库在通用硬件上可以线性扩展。与NoSQL解决方案一样,NewSQL数据库对云原生友好,并且可以随意扩展以满足超大数据规模下的应用程序需求。系统应设计为使用集群内无共享数据分块的架构,来实现云端环境下低延迟的读写性能。
NewSQL数据库提供了高可用、容错性以及物理数据冗余,在电信网络之类的场景也能够平稳运行,以便电信运营商能够从容应对大量涌入的数据。借助功能强大的NewSQL数据库,用户还可以针对实时数据流处理场景,构建面向实时事务的应用程序。

3.2 可用性

NoSQL
NoSQL系统专为CAP理论的可用性而设计,这意味着即使在分布式分区的情况下,数据库也始终会响应。
但是NoSQL系统在设计上优先考虑可用性,采用最终一致性,而不是强一致性(即始终提供最新最正确的数据集快照)方案,意味着NoSQL系统为了快速响应,然而可以返回的不是最新数据。
Apache Cassandra是最终一致性理念的践行者,即快速响应比始终返回最新数据更重要,确实对于许多应用程序而言,最终的一致性是可以接受的。
但是,需要根据确切数据才可以进行交易的场景,比如电信公司需要采取措施来打击欺诈等活动,最终一致性是不可接受的。
因此,NoSQL解决方案不适用于以下情况:

  • 决定是否拨打移动用户的电话
  • 跟踪(计数)并分配有限的稀缺资源
  • 交易事务决策

NewSQL
NewSQL系统优先考虑一致性而不是可用性。NewSQL系统将向所有客户返回相同的确切答案,从而使应用程序可以在通话费用,飞机座位分配和库存等方面做出实时决策,而不会发生冲突。

3.3 一致性

NoSQL
如前所述,NoSQL系统是为实现可扩展性和可用性而设计的,但要牺牲强一致性作为代价。因此,对于需要强一致性的场景而言,NoSQL系统并不是一个好的选择,比如计费和操作支持场景,而这两个场景对于电信运营又都很常见。
同样的还有欺诈行为,电信运营商尤其是发展中国家的电信运营商,承受着巨大的压力,被滥用的SIM卡甚至可以用集装箱计,从而造成每年数十亿美元的损失。解决电信欺诈问题需要大规模准确地实时计算查询呼叫方账户,这都是NoSQL数据库无法做到的。

NewSQL
NewSQL系统具有高度一致性,它们优先考虑一致性而不是可用性,与此同时,NewSQL也支持多分区,这对于电信公司及其提供不间断服务的能力至关重要,因为这意味着即使节点到节点的通信出现故障,集群仍可以继续工作。

3.4 快速响应事务性场景

NoSQL
快速响应的场景在现代场景中非常普遍。尽管NoSQL解决方案通常可以提高数据存储速度,但无法提供大规模的强一致的事务支持。
需要快速,可扩展的交易性应用程序包括:

  • 在验证用户余额的同时允许移动电话连接
  • 以最优惠的价格进行交易
  • 向潜在的数千个用户展示移动广告,而不会超出客户的广告投放预算
  • 为电信服务商提供严格的SLA 在批准交易之前检测是否存在信用卡盗刷行为

对于这类应用程序,由于处理事件每小时每分钟都可能会发生数百万次,因此NoSQL数据库通常不是最佳选择。电信、金融服务、在线游戏、广告技术和其他行业的业务需要能够应对事件处理的并发和延迟。因此,可扩展的强一致性事务解决方案是必备的。

NewSQL
NewSQL系统为现代应用程序提供了高可扩展性和强一致性的特性,即使在海量数据处理时,多分区冗余支持也可以使得系统线性扩展,助力应用程序精确快速响应客户请求。

04 使用NewSQL构建可扩展的现代应用程序

NoSQL和NewSQL都提供了构建高度可扩展的应用程序的数据存储能力。NoSQL数据存储是高可用性应用场景的理想选择。NewSQL系统则提供强大的一致性和事务交互性能力,即便在出现故障时,一致性比可用性更受青睐的场景中,NewSQL是最佳选择。
尽管几乎所有NoSQL解决方案都提供了可扩展性,但VoltDB却提供了可扩展性并添加了强一致性的事务支持。
VoltDB具备极高的响应速度、强一致性和可扩展性。在所有NewSQL解决方案,面对集群故障的情景中,VoltDB都是最强大和最灵活的,我们针对可用性进行了独立验证,见证了许多客户在生产环境集群中稳定运行数年。
VoltDB在需要强一致性的应用场景中表现出色,包括:

  • 处理电信BSS和网络中日益复杂的策略和计费规则问题
  • 从呼叫后欺诈检测到防止欺诈性呼叫发生
  • 向电信客户提供即时优惠,以改善订户体验和ARPU 应用机器学习规则来检测和防止工业物联网的入侵行为
  • 测量、监视和检测性能下降,避免意外宕机

VoltDB是目前市场上最成熟的NewSQL系统,也是云原生数据库。它支持实时数据流中的ACID事务处理,对本地集群和Hadoop生态支持也非常完备。除此之外,它同时集成了高吞吐量,低延迟的数据处理特性,是非常优秀的数据密集型应用程序系统, 在高性能、低延迟、强一致性需求场景中表现不俗,广泛应用于策略执行,个性化推荐,欺诈或异常检测等需要实时决策响应的数据流应用程序中。

5G时代,为什么NoSQL和SQL存在短板?

点赞
收藏
评论区
推荐文章
OceanBase数据库及其特点
随着互联网行业和大数据的兴起和蓬勃发展,数据量和并发访问量呈指数级增长,这对整个系统的架构设计和产品的能力提出了巨大的挑战。极高的总拥有成本、捉襟见肘的可扩展性、薄弱的大数据处理性能等。都成为了高并发和大数据访问需求的燃痛。同时,阿里巴巴、蚂蚁的各种应
Karen110 Karen110
4年前
想抓住大数据时代?小众数据库不可小觑
大家好,我是Python进阶者,今天给大家来送书啦随着大数据时代的发展,诞生了一大批大数据时代下的新数据库产品,如今MongoDB、Redis、HBase这些NoSQL数据库已经成为了互联网开发的新标配,SQL一统江湖的时代不复存在了。然而,如果你觉得只要学习了上边这几种NoSQL你就抓住了大数据时代的话,你可就大错特错了!大数据时代发展速度之快
Wesley13 Wesley13
3年前
5G时代,用5G消息!——关于5G短信、5G消息、5G物网消息
2019年是5G商用元年,截至6月,全球已有31个国家54家电信运营商宣布部署了5G商用网络,20个国家的35家运营商开通5G商用网络。中国工信部6月6日正式发放5G商用牌照,年内有望在部分城市开通5G服务,《福布斯》把5G评为2020十大科技趋势首位。5G不仅支持超大带宽(eMBB)应用场景,还支持超低时延(uRLLC)、海量物联网连接(mMTC)
Wesley13 Wesley13
3年前
5G赋能智能电网:通信企业面临怎样的机会?
今年以来,国家大力推动新基建部署,5G作为新基建七大领域之首,定位网络信息基础设施,肩负推动经济社会数字化转型重任,受到全社会的注目。三大运营商纷纷响应,提出了2020年完成55万个5G基站建设的目标,其中中国移动计划目标是30万个,中国联通和中国电信计划联合建设25万个5G基站。5月20日,中国移动(00941.HK)发布公告称,公司近期接获母公司
企业上云安全感多“亿”点!
数字时代下,上云成为企业投身产业数字化、实现转型的必然选择。但随着网络环境的复杂化,企业在享受云上便利的同时,也面临着安全挑战。层出不穷的应用程序和产品服务,引发了网络容量和复杂度的指数级倍增,云服务商需要提供更加灵活可靠的网络安全能力,来满足企业多元化的云上安全需求。信息安全保障体系的建设是一项系统工程,防火墙的部署往往是优先项。防火墙是内部网络和外部网络
VPC终端节点的实现架构和原理
什么是VPC终端节点?在传统的VPC架构中,为了使VPC内的资源能够与云服务提供商的各种服务进行通信,通常需要通过公共Internet进行访问。这种方式存在一些问题,比如安全性、可靠性、访问速度等。为了解决这些问题,云服务提供商推出了VPC终端节点。VPC终端节点是VPC内的一种虚拟设备,它直接连接到云服务提供商的服务而无需通过Internet。这样,VPC内的资源可以通过VPC终端节点安全地、高效地访问云服务,同时也能避免通过Internet带来的一些潜在问题。
专注IP定位 专注IP定位
1年前
什么是网络地址转换协议
随着计算机网络通信技术的飞速发展,互联网企业用户数量呈指数级增长,然而,这一趋势也带来了计算机网络接入地址空间不足的严峻问题。一、NAT技术的诞生及关键作用为了解决IPv4地址资源短缺的问题,NetworkAddressTranslation(NAT)技术
京东云开发者 京东云开发者
6个月前
DeepSeek的开源之路:一文读懂从V1-R1的技术发展,见证从开源新秀到推理革命的领跑者
作者:京东科技蔡欣彤一、引言:AI时代的挑战与DeepSeek的崛起在大模型时代,AI技术的飞速发展带来了前所未有的机遇,但也伴随着巨大的挑战。随着模型规模的不断扩大,算力需求呈指数级增长,训练成本飙升,而性能提升的边际收益却逐渐递减,形成了所谓的“Sca
京东云开发者 京东云开发者
5个月前
DeepSeek的开源之路:一文读懂从V1-R1的技术发展,见证从开源新秀到推理革命的领跑者
作者:京东科技蔡欣彤一、引言:AI时代的挑战与DeepSeek的崛起在大模型时代,AI技术的飞速发展带来了前所未有的机遇,但也伴随着巨大的挑战。随着模型规模的不断扩大,算力需求呈指数级增长,训练成本飙升,而性能提升的边际收益却逐渐递减,形成了所谓的“Sca
一文读懂天翼云自研 TeleDB 数据库五大关键特性
数字时代下,随着企业向数字化、在线化、智能化高速演进,存储需求呈指数级增长,业务也面临着更多热点和突发流量带来的挑战,这就对数据库安全可靠、超高性能、易运维性提出了更高要求。天翼云自研TeleDB数据库采用云原生架构,具备即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点,可为用户提供稳定可靠的企业级数据库服务,帮助企业圆满解决上述问题。与