HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
hdfs开启回收站(废纸篓)
1、背景我们知道,在<codemac</code系统上删除文件,一般情况下是可以进入<code废纸篓</code里的,如果此时我们误删除了,还可以从废纸篓中恢复过来。那么在<codehdfs</code中是否存在类似mac上的<code废纸篓</code这个功能呢?答
`hadoop fs -mkdir <path>` 创建的目录位置
linux创建文件夹命令<codemkdir绝对路径</code<pre<code绝对路径写哪里存哪里没问题mkdirp/test1/test2/test3ll/</code</pre<codemkdir相对路径</code
【深入浅出 Yarn 架构与实现】6-4 Container 生命周期源码分析
本文将深入探讨AM向RM申请并获得Container资源后,在NM节点上如何启动和清理Container。将详细分析整个过程的源码实现。一、Container生命周期介绍Container的启动由ApplicationMaster通过调用RPC函数<
【深入浅出 Yarn 架构与实现】6-3 NodeManager 分布式缓存
不要跳过这部分知识,对了解NodeManager本地目录结构,和熟悉Container启动流程有帮助。一、分布式缓存介绍主要作用就是将用户应用程序执行时,所需的外部文件资源下载缓存到各个节点。YARN分布式缓存工作流程如下:客户端将应用程序所需的文件资源(外部字
hdfs集群的扩容和缩容
1、背景当我们的<codehadoop</code集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(<code节点服役</code)。2、集群黑白名单在<
【深入浅出 Yarn 架构与实现】6-2 NodeManager 状态机管理
一、简介NodeManager(NM)中的状态机分为三类:Application、Container和LocalizedResource,它们均直接或者间接参与维护一个应用程序的生命周期。当NM收到某个Application的第一个container启动命令时,
【深入浅出 Yarn 架构与实现】6-1 NodeManager 功能概述
本节开始将对Yarn中的NodeManager服务进行剖析。NodeManager需要在每个计算节点上运行,与ResourceManager和ApplicationMaster进行交互。管理节点的计算资源以及调度容器。后续将对NM的功能职责、状态机、容器生命周期和资源隔离等方面
hdfs disk balancer 磁盘均衡器
1、背景在我们的hadoop集群运行一段过程中,由于多种原因,数据在DataNade的磁盘之间的分布可能是不均匀。比如:我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write&deltete操作等灯。那么有没有一种工具,能够使单个DataNo
HDFS Balancer负载均衡器
1、背景当我们的hadoop集群运行了一段时间之后,各个<codeDataNode</code上的<code数据分布</code并<code不一定</code是<code均匀分布</code的。比如说:我们向现有集群中添加了一个新的DataNode。!Da
【深入浅出 Yarn 架构与实现】5-3 Yarn 调度器资源抢占模型
本篇将对Yarn调度器中的资源抢占方式进行探究。分析当集群资源不足时,占用量资源少的队列,是如何从其他队列中抢夺资源的。我们将深入源码,一步步分析抢夺资源的具体逻辑。一、简介在资源调度器中,以CapacityScheduler为例(Fair类似),每个队列可设置一个最小资
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。