超越想象,普通笔记本分析亿级数据只要几秒钟!

码海绘汐使
• 阅读 812

超越想象,普通笔记本分析亿级数据只要几秒钟!

Smartbi只做最真实的测试,用事实来证明思迈特软件Smartbi的高性能,这将是你难得一见的时刻。

超越想象,普通笔记本分析亿级数据只要几秒钟! 

如图所示,我们测试的电脑是一台2013年的thinkpad笔记本,售价不到6000,用鲁大师检测硬件配置如下:

超越想象,普通笔记本分析亿级数据只要几秒钟! 

而用于测试的数据包括1份数据2个模型——星型和宽表,其中星型包括产品、客户、地理三个维度,事实表0.98亿条记录,维度表数百条记录。做过性能测试的朋友一看就知道,这样一个星型模型,如果交给业务人员自己拖拽分析数据,性能是很有问题的,数据库配置不好的情况下还能直接跑死系统,更别说是一台这么普通的笔记本电脑了!

超越想象,普通笔记本分析亿级数据只要几秒钟! 

接下来,我们基于这个数据模型,考虑到自助分析的场景,构建了三大类22个测试案例,以确保客观合理的测试案例覆盖度。比如用户会以年为条件,进行同期增长率的计算等等。

交代好性能测试的基本情况,我们不兜圈,直接来看测试结果:

超越想象,普通笔记本分析亿级数据只要几秒钟! 

简言之,星型模型因为要进行关联操作,平均响应时间为13.3秒(6.7秒——17.1秒),宽表模型没有关联操作,平均响应时间为4.5秒(2.7秒——6.3秒),总体平均为8.9秒!是的,你没看错,无论怎样拖拽的自助分析,平均8.9秒!!测试结果后,我们和你一样感到兴奋,Smartbi居然可以在一台几年前的普通笔记本电脑上对1亿大数据量的自助探索在区区几秒完成分析查询!!

跨库数据源支持应用在数据集定义中,通常在可视化数据集和自助数据集中应用比较广泛。我们常规的这个数据分析底层结构是基于数据源直接连我们的数据连接进行数据的分析展现,那这种情况如果我们的数据量比较少的情况下一般是没有什么问题,但是我们的数据一旦达到某个级别之后我们的报表性能就会出现很大的一个瓶颈,甚至说导致我们的这个报表长时间刷不出来,以至于我们的系统崩溃,那这个时候就可以直接使用高速缓存库机制,以保证系统具有较长的生命力和扩展能力最重要保障。

Smartbi将数据抽取到高速缓存库后,之后的查询直接从高速缓存库取数,来提高查询性能。如在Smartbi体验中心的“体验式场景5”在分析某公司的emplyees数据情况时,其中的雇员表(300,024条记录)与薪资表(2,844,047条记录)进行跨库关联,使用前高速缓存之前刷新数据至少要20秒;当数据抽取到高速缓存库后,切换年份刷新仅需2秒,甚至更快。

超越想象,普通笔记本分析亿级数据只要几秒钟!

点赞
收藏
评论区
推荐文章
Aidan075 Aidan075
4年前
用python重温统计学基础:描述性统计分析
描述性统计分析(DescriptionStatistics)是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间的关系进行估计和描述的方法。描述性统计分析分为集中趋势分析和离中趋势分析。提到用python来进行描述性统计分析,第一反应就是用:dataframe.describe(),我们不妨用一组数据来展示:
大数据的强大应用到底体现在哪些方面?
在中国的应用已近十年,但对应用的深入思考却没有跟上。想象一下大数据在统计分析模式下的应用,会影响其他领域在信息获取方向的应用创新。本文将从信息获取、网络服务和数据整合三个方向探讨大数据的应用,拓宽应用视野。一、信息获取的大数据应用。1.1信息获取和知识发现。大数据最发人深省的应用是信息获取,通常被认为是统计分析模式的延伸。由维克多·迈耶勋伯格和肯尼斯·库克耶
Aidan075 Aidan075
4年前
爬取3万景点,分析十一哪里人从众从人?
作为一名普通上班族,每个星期都在无休止的上班(没准还加班)之中度过。几个月前一直心心念念的可就是这十一的“小长假”(还调班两天)。朱小五这次爬取分析携程国内150个热点城市的景点数据,简单的分析一下哪些景点比较受欢迎。用来预计分析一下这个十一哪里最可能人从众从人?让我们来分析一下。获取数据首先,我们来明确一
Aidan075 Aidan075
4年前
爬取3万景点,分析十一哪里人从众从人?
作为一名普通上班族,每个星期都在无休止的上班(没准还加班)之中度过。几个月前一直心心念念的可就是这十一的“小长假”(还调班两天)。朱小五这次爬取分析携程国内150个热点城市的景点数据,简单的分析一下哪些景点比较受欢迎。用来预计分析一下这个十一哪里最可能人从众从人?让我们来分析一下。获取数据首先,我们来明确一下我们想要爬取的数据是哪些,这里
Wesley13 Wesley13
3年前
6个顶级动态数据可视化工具
作为一名数据分析师,一提到动态数据可视化就会感到莫名兴奋,我认为数据可视化有两个非常重要的部分:一个是动态,一个是数据可视化。要使数据分析真正有价值和有洞察力,就需要高质量的动态可视化工具。市场上有很多产品,特点和价格各不相同,本文列出了一些广泛认可的工具,我们来一起了解一下数据动态可视化制作工具。一、数据动态可视化制作工具——Smartbi可视化B
Stella981 Stella981
3年前
Smartbi成功入选Gartner增强数据分析2020代表厂商!
近日,全球权威的顾问咨询公司Gartner发布《HypeCycleforICTinChina,2020》报告(2020年中国ICT技术成熟度曲线报告),思迈特软件Smartbi作为国内极具实力的BI厂商,凭借SmartbiEagle自助数据分析平台,入选增强数据分析代表厂商(AugmentedDataandAnalyticsSample
Stella981 Stella981
3年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Easter79 Easter79
3年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
达达埋点迁移京东子午线实践 | 京东云技术团队
一、概述1.项目价值及成果使用集团的统一埋点采集能力和埋点平台,完成达达7条业务线共43个站点应用的埋点迁移,降低自研采集工具和平台的研发投入和机器成本,打通数据链路,创造更多的数据分析价值。具体降本增效价值如下:1.1数据分析价值:与京东流量数据打通,拉
待兔 待兔
1年前
很多人讲不明白HTTPS,但是我能
很多人讲不明白HTTPS,但是我能今天我们用问答的形式,来彻底弄明白HTTPS的过程下面的问题都是小明和小丽两个人通信为例可以把小明想象成服务端,小丽想象成客户端1.https是做什么用的?答:数据安全传输用的。2.数据如何安全的传输?答:把数据加密以后,
特权账号:企业安全的关键要素与防护策略
特权账号是企业信息技术系统中具有特殊权限的用户账号。这些账号如同企业数字王国的“钥匙”,赋予持有者超越普通用户的能力,可对关键系统、数据库、网络设备和应用程序进行高权限操作。