文章
小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MCHologres的合作。作者:小红书推荐工程负责人郭一小红书推荐业务架构!
学Spark需要什么基础?
学Spark需要什么基础?作为大数据主流框架之一的Spark,也是大数据开发人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?今天就来给大家讲讲Spark需要什么基础? 首先,学习大数据,不管是Hadoop还是Spar
如何优化多表查询情况下的查询性能问题
在实际开发过程中,使用例如DDD领域模型充血方案或者为了数据模型更加的便于之后的拓展和解释,不便于也不建议通过增加状态字段的方式解决问题,但同时上层业务有相对比较复杂,就会存在数据模型与业务要求之间的适配问题,复杂的业务可能提现在数据模型中需要用到多张表的联表查询情况,这类问题如何解决呢?
livy 安装并集成kerberos
使用原因:因为griffin需要安装livy组件的支持,所以需要安装livy提交spark任务。版本说明:Livy版本0.7spark版本CDH6.2spark2.4安装(1)下载apachelivy下载地址:https://gith
Livy探究(七) -- 编程接口分析
在前面的篇章中,我们把重点放在livy的<codeREPL</code功能的展示和源码分析。这篇我们探索一下<codelivy</codeUsingtheProgrammaticAPI(https://link.segmentfault.com/?encuNgmzVHNGq9xR
Livy探究(六) -- RPC的实现
Livy基于netty构建了一个RPC通信层。本篇我们来探究一下Livy的RPC层的实现细节。读者应当具备netty编程的基础知识。RPC相关的代码主要在rsc目录和org.apache.livy.rsc包中。KryoMessageCodec<codeKryo</code是
Livy探究(五) -- 解释器的实现
本篇我们深入源码,探究一下livy解释器的实现原理。ReplDriver<codeReplDriver</code是真正最终运行的Driver程序对应的类(其基类是第三篇中提到的<codeRSCDrvier</code)。在这一层,重点关注handle系列方法:<pr
Livy探究(四) -- 从es读取数据
在前面的所有例子中,我们只是运行了<codelivy</code官方给的两个例子。这篇我们要尝试运行一些有意义的代码。<blockquote如没有特殊说明,以后所有的实验都是在<codeyarncluster</code模式下运行的。</blockquote我们打算尝试运行下
Livy探究(三) -- 核心架构细节探索
在前两篇中,我们通过官网的example体验了livy的功能,留下了一个疑问,究竟livy是如何做到的呢?这一篇从源码里面找一下答案。在直接分析源码前,先把结论通过时序图画出来,有个直观的映像:!image.png(https://imghelloworld.osscnbeiji
Livy探究(二) -- 运行模式
上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启,而每次重启服务都要设置<codeSPARK_HOME</code和<codeHADOOP_CONF_DIR</code比较麻烦。我们首先修改一下<codeconf/livy
已加载文章中没有匹配内容,试试其他关键词或清空搜索。