2016Qcon上海之旅

Stella981
• 阅读 396

主要是大数据应用方向
早上第一个听了IBM 企业海量数据以及全面云数据服务实践,主要介绍 了IBM 云计算的应用场景,主要是介绍IBM 在云数据服务方面的应用,主要是分享了几个客户案例,其中一个是央视的西藏骑行的电视直播,中间涉及物理设备数据采集,背后实时的数据分析,结合地理位置 数据,地图以及运动员数据同时支持可视化,提升活动本身的参与性,整体全部基于IBM云服务来做。整个开发周期10天,可见IBM在解决方案级别的能力较强,其次主要介绍了IBM 的云服务。如下:
2016Qcon上海之旅

其次就是阿里巴巴的神盾介绍集团的风控平台,整体建设思路和蚂蚁的风控平台类似。
2016Qcon上海之旅
2016Qcon上海之旅
2016Qcon上海之旅


这里融合计算概念没有讲的很清楚,其次基于zk 做指标逻辑的动态更新,而不需要中断指标计算。

接下来主要是基于Elastic Stack 做的大数据多维分析。目前国内应用较多的大数据多维分析工具,一个是apache kylin 一个就是es。这里主要介绍如何应用es 做指标分析。
2016Qcon上海之旅

1)数据收集:logstash+beats
     
Logstash:在 server 端,处理传入的日志,采用pipeline 的模式过滤计算数据,不支持数据之间的聚合操作。
      
beats:在client端,用于采集各种情况下的日志,日志包括DB,redis,http,top,file,消息队列。
2)数据分析:elasticsearch
   
 elasticsearch 可以作为OLAP引擎来用。
     
elasticsearch目前加入了很多聚合的功能,包括
   
 a)支持一些数据分析功能,包括柱状图、分布、统计、地理
 
  b)支持任何数据:只要数据能被查询,就可以被分析
    
  c)按需计算和实时性:可以按需实时计算、实时性在秒左右
  
  d)可嵌套组合


3)数据展现:kibana
   kibana被用作数据展示工具,Web 界面,用来搜索和可视化日志。
现场看了一下es的演示,因为结合了可视化,数据采集以及数据清洗以及多维分析的能力,整体体验较为不错。

下午重点:
主要是携程推荐平台负责人介绍了携程推荐平台的介绍,核心点主要是rerank 以及abtest ,根据携程的业务特有的推荐特征筛选等等。
2016Qcon上海之旅
2016Qcon上海之旅

另外比较重要的就是阿里巴巴宗超介绍了集团在海量数据下数据研发体系的建设和管理,由于数据的暴增如何解决多样数据的规范化存储以及开发等等,核心观念如何统一数据资产以及工具研发体系的标准化。

2016Qcon上海之旅 大数据计算服务(MaxCompute)

快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

了解更多

2016Qcon上海之旅

2016Qcon上海之旅

欢迎加入MaxCompute钉钉群讨论

2016Qcon上海之旅

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
2年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
Java修道之路,问鼎巅峰,我辈代码修仙法力齐天
<center<fontcolor00FF7Fsize5face"黑体"代码尽头谁为峰,一见秃头道成空。</font<center<fontcolor00FF00size5face"黑体"编程修真路破折,一步一劫渡飞升。</font众所周知,编程修真有八大境界:1.Javase练气筑基2.数据库结丹3.web前端元婴4.Jav
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
GreenPlum tidb 性能比较
主要的需求  针对大体量表的OLAP统计查询,需要找到一个稳定,高性能的大数据数据库,具体使用  数据可以实时的写入和查询,并发的tps不是很高建立数据仓库,模式上主要采用星星模型、雪花模型,或者宽表前端展示分为3类 saiku、granafa、c代码开发数据体量:事实表在35亿、维度表大的在500
Stella981 Stella981
2年前
Nginx + lua +[memcached,redis]
精品案例1、Nginxluamemcached,redis实现网站灰度发布2、分库分表/基于Leaf组件实现的全球唯一ID(非UUID)3、Redis独立数据监控,实现订单超时操作/MQ死信操作SelectPollEpollReactor模型4、分布式任务调试Quartz应用
Stella981 Stella981
2年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
可莉 可莉
2年前
2016Qcon上海之旅
主要是大数据应用方向早上第一个听了IBM企业海量数据以及全面云数据服务实践,主要介绍了IBM云计算的应用场景,主要是介绍IBM在云数据服务方面的应用,主要是分享了几个客户案例,其中一个是央视的西藏骑行的电视直播,中间涉及物理设备数据采集,背后实时的数据分析,结合地理位置数据,地图以及运动员数据同时支持可视化,提升活动本身的参与性,整体全部基于
Wesley13 Wesley13
2年前
35岁是技术人的天花板吗?
35岁是技术人的天花板吗?我非常不认同“35岁现象”,人类没有那么脆弱,人类的智力不会说是35岁之后就停止发展,更不是说35岁之后就没有机会了。马云35岁还在教书,任正非35岁还在工厂上班。为什么技术人员到35岁就应该退役了呢?所以35岁根本就不是一个问题,我今年已经37岁了,我发现我才刚刚找到自己的节奏,刚刚上路。