HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark - Leader选举
流程Leader选举模式包括ZOOKEEPER、基于文件系统的、默认空实现以及自定义实现的,选举模式和持久化引擎(https://segmentfault.com/a/1190000040457684)是对应的。<table<thead<tr<th持久化引擎</th<
Spark - 持久化引擎
分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)是Standalone集群,这里会有两个master,一个是ALIVE,一个是STANDBY。ALIVE节点是提供服务的,STANDBY是备胎,当ALIVE节点挂了以后,STANDBY会
Spark - Executor的运行
在Executor的资源调度(https://segmentfault.com/a/1190000040448608)已经提到了Worker上怎么分配Executor资源的过程,这里就讲Worker分配到Executor后是怎么运行这些Executor的。流程在调用Worker
Spark - Executor的资源调度
Master的资源调度是Spark的一级资源调度,分为对Driver的资源调度和对Executor的资源调度。这篇主要是讲Executor的资源调度。我们假设初始条件是这样的:已经5个Worker注册到Master,分别是4核16G(Dead),1核0.5G,4核4G,2核8G,4核8G。(这里的4
Spark SQL踩坑经验总结及调优分享
写在之前:本篇文章写就时间较早,因此本文所讨论的SparkSQL非最新版本,后续更新版本可能有部分修复和更新。一、Spark内存泄露1.高并发情况下的内存泄露的具体表现首先得很遗憾的告诉各位,Spark在设计之初的架构就不是为了高并发请求而生的,我们尝
Spark - Application注册
SparkSubmit使用(https://segmentfault.com/a/1190000040312161)中提到了在standalone模式下,通过sparksubmit提交集群中的应用程序的案例,这里就讲讲这个应用程序的注册到集群的过程(默认client部署模式)。这里需要引入两
Spark - Master和Worker
之前在分布式高可用集群安装(https://segmentfault.com/a/1190000040295126)中,可以看到这个集群是主从架构,在Spark集群方式中,叫做Standalone集群。主节点叫做Master,Master除了对Worker、Application、Driver等
编译支持 spark 读写 oss(cdh 5.x)
前言<blockquote背景:使用spark读取hdfs文件写入到oss<br/hadoop:2.6.0cdh5.15.1<br/spark:2.4.1<br/主要参考链接:<ahref"https://link.segmentfault.com/
Spark 开源新特性:Catalyst 优化流程裁剪
<blockquote<strong摘要:</strong为了解决过多依赖Hive的问题,SparkSQL使用了一个新的SQL优化器替代Hive中的优化器,这个优化器就是Catalyst。</blockquote本文分享自华为云社区《Spark开源新特性:Cata
痛苦调优10小时,我把 Spark 脚本运行时间从15小时缩短到12分钟!
<!痛苦调优10小时,我把Spark脚本运行时间从15小时缩短到12分钟!>周一我就有个困惑,还写成文章了:如何从Spark的DataFrame中取出具体某一行(https://link.segmentfault.com/?encHeisFaGuyk3m
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。