HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

如何实现Spark on Kubernetes?

简介:大数据时代,以Oracle为代表的数据库中间件已经逐渐无法适应企业数字化转型的需求,Spark将会是比较好的大数据批处理引擎。而随着Kubernetes越来越火,很多数字化企业已经把在线业务搬到了Kubernetes之上,并希望在此之上建设一套统一的、完整的大数据基础架构。那么Spa

案例解析丨 Spark Hive 自定义函数应用

<blockquote摘要:Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数。</blockquote1.简介Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数。UDF使用场景:输入一行,返回一个结果,一对一,比如定义一个函数,功能是输入一个IP地

技本功|Hive优化之Spark执行引擎参数调优(二)

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。