HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
HDFS Short-Circuit Local Reads
1、背景在<codeHDFS</code中,读取操作通常是通过<codeDataNode</code。因此,当客户端要读取文件时,DataNode会从磁盘上读取文件,然后通过<codeTCP套接字</code将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候
【深入浅出 Yarn 架构与实现】5-2 Yarn 三种调度器
本篇文章将深入介绍Yarn三种调度器。Yarn本身作为资源管理和调度服务,其中的资源调度模块更是重中之重。下面将介绍Yarn中实现的调度器功能,以及内部执行逻辑。一、简介Yarn最主要的功能就是资源管理与分配。本篇文章将对资源分配中最核心的组件调度器(Scheduler
【深入浅出 Yarn 架构与实现】5-1 Yarn 资源调度器基本框架
资源调度器是YARN中最核心的组件之一,它是ResourceManager中的一个插拔式服务组件,负责整个集群资源的管理和分配。Yarn默认提供了三种可用资源调度器,分别是FIFO(FirstInFirstOut)、Yahoo!的CapacityScheduler和F
hdfs的异构存储
1背景在我们实际的开发过程中,我们的某些数据可能经常使用,但是过了一段时间,这个数据就不怎么使用了,即我们的数据存在一个<code热</code、<code温</code、<code冷</code等这些特性。那么针对<code数据的热度</code,我们可以采用不同的策
etl 增量对比解决方案 etl-engine 如何实现增量对比
什么是增量对比增量是相对于全量来说的,它们都是处于“同步数据”这个场景中。全量同步实现的逻辑是不管原表与目标表数据是否发生过变量,都要定期将原表数据全部覆盖到目标表,以保证目标表数据的完整性。增量对比实现的逻辑是将原表与目标表的数据通过算法进行对比,然后只将差异数据(增加
mac系统上hdfs java api的简单使用
1、背景在上一节中,我们简单学习了在命令行上如何操作<codehdfsshellapi</code,此处我们通过<codejava</code程序来操作一下。2、环境准备需要在本地环境变量中配置<codeHADOOP_HOME</code或在程
【深入浅出 Yarn 架构与实现】4-6 RM 行为探究 - 申请与分配 Container
本小节介绍应用程序的ApplicationMaster在NodeManager成功启动并向ResourceManager注册后,向ResourceManager请求资源(Container)到获取到资源的整个过程,以及ResourceManager内部涉及的主要工作流程。
【深入浅出 Yarn 架构与实现】4-5 RM 行为探究 - 启动 ApplicationMaster
本节开始,将对ResourceManager中一些常见行为进行分析探究,看某些具体关键的行为,在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。一、整体流程本小节介绍从应用程序提交到启动ApplicationMaster的整
hive etl 通过 ETL 导出 Hive 中的数据
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/7b32b100899bd81695a577a3dc3ff6fc.png)什么是Hive?Hive是在Hadoop分布式文件系统上运行的开源分布式数据仓库
Centos7搭建hadoop3.3.4分布式集群
1、背景最近在学习<codehadoop</code,本文记录一下,怎样在Centos7系统上搭建一个<code3</code个节点的<codehadoop</code集群。2、集群规划<codehadoop</code集群是由2个集群构成的,分别是<c
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。