HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据培训:Spark 性能调优详解

调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快,但个别task执

大数据培训:Spark高频面试题汇总

1.通常来说,Spark与MapReduce相比,Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制?spark是借鉴了Mapreduce,并在其基础上发展起来的,继承了其分布式计算的优点并进行了改进,spark生态更为丰富,功能更为强大,性能更加适用范围广,mapr

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。