HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

个推技术:ETL工程师必看!超实用的任务优化与断点执行方案

前言随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。作为一家数据智能公司,个推在大数据计算领域沉淀了丰富

Spark内存管理机制

Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优。本文旨在梳理出Spark内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于Spar

Scala实现Spark环境下的决策树模型工程

一、项目背景在集团数据挖掘项目下,用户画像工程需要开发很多基础标签,如年龄、性别、婚姻状况、资产情况等标签。这些标签不能使用集团下的各个数据源来简单的处理后,得到结果作为最终评价结果,因为不同数据源的数据质量参差不齐,且各个数据源得到的结果置信度情况也不一样。因此我们需要使用决策树XG

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。