HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark主备切换机制原理

Master实际上可以配置两个,那么在spark原生的standalone上也是支持Master主备切换的,也就是说,当ActiveMaster节点挂掉之后,我们可以将StandbyMaster切换为ActiveMasterSparkMaster的主备切换可以基于两种切换机制,一种是文件

驴行千里不洗沙尘,尚硅谷Spark性能调优教程发布

摘要:当年少立志三千里,莫踌躇百步无寸功。你是不是长了颗红楼梦的心,却生活在水浒的世界,想结交些三国里的桃园弟兄,却总遇到西游记中的各路妖魔鬼怪。Today,我们聊聊从西游记看职场,聊一聊我们应该端什么碗吃什么饭。唐三藏吃资源饭。女儿国国王为什么叫他御弟哥哥?地下

Spark 架构设计与原理思想

Spark在MapReduce的基础上进行了改进,它主要使用内存进行中间计算数据存储,加快了计算执行时间,在某些情况下性能可以提升百倍。    除了速度更快,Spark和MapReduce相比,还有更简单易用的编程模型。    Spark的主要编程模型是RDD

大数据开发之Spark SQL执行性能的提升

Catalyst是SparkSQL核心优化器,早期主要基于规则的优化器RBO,后期又引入基于代价进行优化的CBO。但是在这些版本中,SparkSQL执行计划一旦确定就不会改变。由于缺乏或者不准确的数据统计信息(如行数、不同值的数量、NULL值、最大/最小值等)和对成本的错误估算导致生成的初始

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。