HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

好程序员技术解析Hadoop和spark的性能比较

  好程序员技术解析Hadoop和spark的性能比较,大数据培训一度受到广大IT爱好者的追捧,成为最热门的培训学科!前景无需多述,高薪就业,职场一片坦途!今天好程序员就为大家讲解下关于大数据的知识要点。问:Hadoop和spark的性能有何区别。  如果说Hadoop是一家大型包工队,我们可以通

使用Spark跨集群同步Hive数据

本文适用有入门spark基础的同学,一些最基础知识不再赘述通过阅读本文即可掌握使用Spark跨集群同步Hive数据的技巧!众所周知,业界比较成熟的同步数据工具是Sqoop,它是连接关系型数据库和Hadoop的桥梁比较常用的场景是从MySQL等RDB同步到Hive、Hbase或者将Hive

利用spark进行机器学习时模型序列化存储到hive解决方案

机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测1.模型存储到hive存储很简单,将要存储的模型调用如下spark的序列化方法defs

如何解决大数据计算中常见的数据倾斜问题?

数据倾斜是在大数据计算中常见的问题,用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了&39;一个人累死,其他人闲死&39;的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。