个推TechDay直播回顾 | 详解数据指标体系设计与开发全流程(附视频及课件下载)
科学完善的数据指标体系是企业开展数字化运营管理、打造数据驱动型组织的重要支撑。透过多维度的数据指标,运营人员能够清晰了解业务现状,产品/研发人员能够高效定位系统问题,管理人员能够更加准确地做出分析决策。那么,如何在充分理解业务需求的基础上,搭建出一
科学完善的数据指标体系是企业开展数字化运营管理、打造数据驱动型组织的重要支撑。透过多维度的数据指标,运营人员能够清晰了解业务现状,产品/研发人员能够高效定位系统问题,管理人员能够更加准确地做出分析决策。那么,如何在充分理解业务需求的基础上,搭建出一
近日,个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动(个推)的资深数据研发工程师为大家详细解读了实时数仓架构演进,分享了实时数仓的技术选型要点,并结合实战案例详细剖析实时数仓搭建秘诀。当下,企业的实时计算需求越来越高频。比如很多
当下,企业的实时计算需求越来越高频,很多企业和组织选择建设实时数据仓库,以敏捷支撑实时报表分析、智能算法推荐、系统风险预警等多元业务场景需求。相比离线数仓,实时数仓有哪些特性?如何进行实时数仓的技术选型?个推TechDay“治数训练营”系列直播课第二期来了!8月24日(下周三)晚上19:3020:30,个推资深数据研发工程师为您解读实时数仓架构演进,分享实时
作为浙江省温州市政府2022年启动的重点建设项目,中国(温州)数据智能与安全服务创新园【简称中国(温州)数安港】致力于推进数据要素、优质企业和创新力量的集聚,探索安全合规的数据市场化新路径,加快培育数据智能与安全服务产业生态。数安港正着力打造一套数据安全与合规体系、一个大数据联合计算中心、一个专业司法保障部门、一个工程师学院等“九个一”体系。其中,专业人才的
近日,2022年个推TechDay“治数训练营”系列直播课第一期圆满举办。个推资深大数据研发工程师为大家深入浅出地介绍了数据仓库的前世今生以及数据建模的常用方法。本文对“治数训练营”第一期《数据仓库与维度建模》的干货内容进行了总结,同时也挑选了直播间的精彩提问做了Q&A梳理,带大家一起回顾首期课程。一、数据仓库快速入门数据仓库(DataWarehous
个推“大数据降本提效”专题,正是通过总结分享自身在大数据实战过程中的踩坑经验、调优技巧等,为从业人员开展大数据实践提供参考。本文是“大数据降本提效”专题的第三篇,将为大家分享个推通过调优,实现TiDB千倍性能提升的实战经验。个推与TiDB的结缘作为一家数据智能企业,个推为数十万APP提供了消息推送等开发者服务,同时为众多行业客户提供专业的数字化解决方案。
根据云存储服务商Backblaze发布的2021年硬盘“质量报告”,现有存储硬件设备的可靠性无法完全保证,我们需要在软件层面通过一些机制来实现可靠存储。一个分布式软件的常用设计原则就是面向失效的设计。作为当前广泛流行的分布式文件系统,HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份
作为一家数据智能公司,个推不仅拥有海量的关系型数据,也积累了丰富的keyvalue等非关系型数据资源。个推采用Codis保存大规模的keyvalue数据,随着公司kv类型数据的不断增加,使用原生的Codis搭建的集群所花费的成本越来越高。在一些对性能响应要求不高的场景中,个推计划采用新的存储和管理方案以有效兼顾成本与性能。经过选型,个推引入了360开源的存储
作为一家数据智能企业,个推在服务垂直行业客户的过程中,会涉及到很多数据实时计算和分析的场景,比如在服务开发者时,需要对App消息推送的下发数、到达数、打开率等后效数据进行实时统计;在服务政府单位时,需要对区域内实时人口进行统计和画像分析。为了更好地支撑大数据业务发展,个推也建设了自己的实时数仓。相比Storm、Spark等实时处理框架,Flink不仅具有高吞
近日,个推服务端技术专家李白受邀参与SegmentFaultDDay线上技术直播活动,与来自头部互联网企业的后端技术专家们共探“后端架构演进之路”。李白以“API网关演进之路”为主题,分享了个推基于golang进行API网关建设的实践经验和深度思考。★以下为李白演讲干货整理:API网关之源起API网关是随“微服务”概念而兴起的一种架构模式。在微服务
前言Spark是目前主流的大数据计算引擎,功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。作为一种内存计算框架,Spark运算速度快,并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商,个推从早期的1.3版本便引入Spark,