HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

学Spark需要什么基础?

  学Spark需要什么基础?作为大数据主流框架之一的Spark,也是大数据开发人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?今天就来给大家讲讲Spark需要什么基础?  首先,学习大数据,不管是Hadoop还是Spar

如何优化多表查询情况下的查询性能问题

在实际开发过程中,使用例如DDD领域模型充血方案或者为了数据模型更加的便于之后的拓展和解释,不便于也不建议通过增加状态字段的方式解决问题,但同时上层业务有相对比较复杂,就会存在数据模型与业务要求之间的适配问题,复杂的业务可能提现在数据模型中需要用到多张表的联表查询情况,这类问题如何解决呢?

Livy探究(六) -- RPC的实现

Livy基于netty构建了一个RPC通信层。本篇我们来探究一下Livy的RPC层的实现细节。读者应当具备netty编程的基础知识。RPC相关的代码主要在rsc目录和org.apache.livy.rsc包中。KryoMessageCodec<codeKryo</code是

Livy探究(五) -- 解释器的实现

本篇我们深入源码,探究一下livy解释器的实现原理。ReplDriver<codeReplDriver</code是真正最终运行的Driver程序对应的类(其基类是第三篇中提到的<codeRSCDrvier</code)。在这一层,重点关注handle系列方法:<pr

Livy探究(四) -- 从es读取数据

在前面的所有例子中,我们只是运行了<codelivy</code官方给的两个例子。这篇我们要尝试运行一些有意义的代码。<blockquote如没有特殊说明,以后所有的实验都是在<codeyarncluster</code模式下运行的。</blockquote我们打算尝试运行下

Livy探究(三) -- 核心架构细节探索

在前两篇中,我们通过官网的example体验了livy的功能,留下了一个疑问,究竟livy是如何做到的呢?这一篇从源码里面找一下答案。在直接分析源码前,先把结论通过时序图画出来,有个直观的映像:!image.png(https://imghelloworld.osscnbeiji

Livy探究(二) -- 运行模式

上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启,而每次重启服务都要设置<codeSPARK_HOME</code和<codeHADOOP_CONF_DIR</code比较麻烦。我们首先修改一下<codeconf/livy

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。