HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

顺丰科技 Hudi on Flink 实时数仓实践

简介:介绍了顺丰科技数仓的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。本文作者为刘杰,介绍了顺丰科技数仓的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。主要内容为:数仓架构Hudi

Spark系列——作业原理详解

前言本篇文章主要是从作业提交到最后获取到作业结果,从源码的角度,但是不涉及源码进行的分析.其目的是读完本篇文章,你将对作业的基本流程有个清晰的认识。当然如果你阅读过源码,那么读起来应该会比较舒服,否则可能会有一定不适,因为本文写的不是那么有逻辑~~~1.任务提交过程首

Spark的分区机制的应用及PageRank算法的实现

佩奇排名(PageRank),又称网页排名、谷歌左侧排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(LarryPage)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。概念Sp

Spark源码剖析(八):stage划分原理与源码剖析

引言对于Spark开发人员来说,了解stage的划分算法可以让你知道自己编写的sparkapplication被划分为几个job,每个job被划分为几个stage,每个stage包括了你的哪些代码,只有知道了这些之后,碰到某个stage执行特别慢或者报错,你才能快速定位到对应的代码,对其进行性能优化和排错。stage划分原理与源码

Spark常见问题汇总

注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入spark的web页面,查看一下你的任务,找到每个分区日志的stderr,查看是否有错误,一般情况下一旦驱动提交了,报错的情况只能在任务日志里面查看是否有错误情况了1、Operationcatego

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。