HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

个推分享Spark性能调优指南:性能提升60%↑ 成本降低50%↓

前言Spark是目前主流的大数据计算引擎,功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。作为一种内存计算框架,Spark运算速度快,并能够满足UDF、大小表Join、多路输出等多样化的数据计算和处理需求。作为国内专业的数据智能服务商,个推从早期的1.3版本便引入Spark,

Flink 实时 metrics

目前我们的flink任务跑在yarn集群上,在面对以下问题时常驻实时job是否在稳定运行?实时数据的处理能力如何?消费过慢?是否需要申请更多资源提升消费能力?实时数据质量可靠?是否有丢数据的风险?实时任务现有的资源是否足够支撑现有的数据量?资源是否闲置浪费?虽

大数据开发之Hive SQL优化思路分享

Hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:•减少数据量(例如分区、列剪裁)•避免数据倾斜(例如加参数、Key打散)•避免全表扫描(例如on添加加上分区等)•减少job数(例如相同的on条件的join放

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。