HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
顺丰科技 Hudi on Flink 实时数仓实践
简介:介绍了顺丰科技数仓的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。本文作者为刘杰,介绍了顺丰科技数仓的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。主要内容为:数仓架构Hudi
springboot基于spark
参考文章:使用springboot构建restapi远程提交spark任务(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fhlp4207%2Farticle%2Fdetails%2F100831384)sparksubmit动态提交的办法(Sp
SQL on Hadoop性能对比-Hive、Spark SQL、Impala
1三种语言、三套工具、三个架构不了解SQLonHadoop三驾马车-Hive、SparkSQL、Impala吗?听小编慢慢道来1HiveApacheHive数据仓库软件提供对存储在分布式中的大型数据集的查询和管理,它本
Spark(一)Spark简介
一、官网介绍1什么是Spark官网地址:http://spark.apache.org/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fspark.apache.org%2F)!(https://oscimg.oschina.net/oscnet/
Spark系列——作业原理详解
前言本篇文章主要是从作业提交到最后获取到作业结果,从源码的角度,但是不涉及源码进行的分析.其目的是读完本篇文章,你将对作业的基本流程有个清晰的认识。当然如果你阅读过源码,那么读起来应该会比较舒服,否则可能会有一定不适,因为本文写的不是那么有逻辑~~~1.任务提交过程首
Spark的分区机制的应用及PageRank算法的实现
佩奇排名(PageRank),又称网页排名、谷歌左侧排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(LarryPage)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。概念Sp
Spark用dataframe操作ES
直接上代码:packagecom.suning.scdc.hspark.goods.testimportscala.collection.Seqimportscala.collection.mutable.LinkedListimportorg.apache.spark.SparkConf
Spark源码剖析(八):stage划分原理与源码剖析
引言对于Spark开发人员来说,了解stage的划分算法可以让你知道自己编写的sparkapplication被划分为几个job,每个job被划分为几个stage,每个stage包括了你的哪些代码,只有知道了这些之后,碰到某个stage执行特别慢或者报错,你才能快速定位到对应的代码,对其进行性能优化和排错。stage划分原理与源码
Spark源码剖析
4. Hadoop相关配置及Executor环境变量的设置4.1 Hadoop相关配置信息默认情况下,Spark使用HDFS作为分布式文件系统,所以需要获取Hadoop相关配置信息的代码如下:!(https://oscimg.oschina.net/
Spark常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入spark的web页面,查看一下你的任务,找到每个分区日志的stderr,查看是否有错误,一般情况下一旦驱动提交了,报错的情况只能在任务日志里面查看是否有错误情况了1、Operationcatego
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。