HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
分布式存储技术(上):HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量,单机容量太小,无法存储海量的数据,这时候就需要用到多台机器存储,并统一管理分布在集群上的文件,这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术,Ceph是能处理海量非结构化数据存储的对象存储技术,本文将对他们的架构原理、特性和优缺点做介绍。!图片(h
hdfs集群的扩容和缩容
1、背景当我们的<codehadoop</code集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(<code节点服役</code)。2、集群黑白名单在<
云上大数据存储:探究 JuiceFS 与 HDFS 的异同
HDFS作为Hadoop提供存储组件,已经成为大数据生态里面数据存储最常用的选择,通常在机房环境部署。JuiceFS是一个基于对象存储的分布式文件系统,用户可以在云上快速地搭建按需扩容的弹性文件系统。如果企业正在考虑在云上构建大数据平台,了解这两种产品的差异和优缺点,可以为企业迁移或
HDFS Balancer负载均衡器
1、背景当我们的hadoop集群运行了一段时间之后,各个<codeDataNode</code上的<code数据分布</code并<code不一定</code是<code均匀分布</code的。比如说:我们向现有集群中添加了一个新的DataNode。!Da
HDFS Short-Circuit Local Reads
1、背景在<codeHDFS</code中,读取操作通常是通过<codeDataNode</code。因此,当客户端要读取文件时,DataNode会从磁盘上读取文件,然后通过<codeTCP套接字</code将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候
hdfs的异构存储
1背景在我们实际的开发过程中,我们的某些数据可能经常使用,但是过了一段时间,这个数据就不怎么使用了,即我们的数据存在一个<code热</code、<code温</code、<code冷</code等这些特性。那么针对<code数据的热度</code,我们可以采用不同的策
mac系统上hdfs java api的简单使用
1、背景在上一节中,我们简单学习了在命令行上如何操作<codehdfsshellapi</code,此处我们通过<codejava</code程序来操作一下。2、环境准备需要在本地环境变量中配置<codeHADOOP_HOME</code或在程
hdfs file system shell的简单使用
@TOC1、背景此处我们通过命令行,简单的学习一下<codehdfsfilesystemshell</code的一些操作。2、hdfsfilesystemshell命令有哪些我们可以通过如下网址https://hadoop.apache
一篇文章彻底理解 HDFS 的安全模式
一篇文章彻底理解HDFS的安全模式1什么是HDFS的安全模式Hdfs的安全模式,即HDFSsafemode,是HDFS文件系统的一种特殊状态,在该状态下,hdfs文件系统只接受读数据请求,而不接受删除、修改等变更请求,当然也不能对底层的block
格式化重启一个hdfs集群
关闭所有hadoop,zk节点<codestopdfs.sh</code<codezk.shstop</code依次启动所有节点journalnode<codehdfsdaemonstartjournalnode</code任一节点格式化n
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。