HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
HDFS - 什么是元数据
元数据文件上传到HDFS服务器的时候,会分成多个块,并以多个副本的形式存储在服务器上面,那我们怎么知道这个文件的文件名是什么呢?这个文件被分成了多少块?每个块又存储在哪几个服务呢?所以HDFS在上传文件的时候,除了上传文件,还会另外保存这些信息,这些信息叫做元数据。!image.png
HDFS - NameNode如何感知到DataNode的
注册在HDFSHDFS的四个角色(https://segmentfault.com/a/1190000040179706)提到了NameNode启动的时候,会开启RPC服务,叫做ServiceRpcServer,这个Server有很多个协议,其中一个叫做DatanodeProt
HDFS - 安全模式是什么
HDFSNameNode的高可用(https://segmentfault.com/a/1190000040179730)提到了NameNode有active状态和standby状态,他还有另外一个状态,就是safemode,安全模式。在安全模式下,HDFS不接收对元素修改的请求,只允许对
HDFS - NameNode的高可用
高可用我们已经知道了,读取文件、上传文件,都需要经过NameNode,如果NameNode宕机了,那客户端就不知道往哪里读写数据,整个集群就不可用了。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs
HDFS - HDFS的四个角色
在上一篇已经知道了HDFS是把文件切成块后,再存储在多个服务器中,并且为了数据的安全性,都做了多个副本进行冗余存储。那在HDFS中,是谁对文件进行切块?是谁决定了块存储在哪里?是谁管理存储的文件?在HDFS中,有这几种角色:NameNode:负责处理Client的请求、元数据管理等其他功
HDFS - 文件越来越多怎么办
随着业务的发展,服务器存放的文件就越来越多,初期的时候,我们会直接通过扩容来解决这个问题。但是硬盘不可能存放未来所有增量的文件,并且硬盘不可能无限扩容,当硬盘分配完后,要么加硬盘,要么加服务器。加硬盘可能是比较快的方式,只要在程序中判断在某个时间节点的文件,写入和读取都在指定的盘符就可以了,但是每个
在 windows 上安装 spark 遇到的一些坑 | 避坑指南
在windows上安装spark遇到的一些坑|避坑指南!RickyKharawala@unsplash.com(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/e374167510c64a21f327
Hologres揭秘:深度解析高效率分布式查询引擎
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,与此同时为业务提供实时决策的能力,让大数
Hadoop实战篇(1)
Hadoop实战篇(1)!Hadoop实战篇1(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/6e007d1a003c5da7c0e002fdc7b128c5.png)作者|WenasWei前言
智能数据构建与管理平台Dataphin的前世今生:缘起
简介:阿里巴巴提出的OneData方法论帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。Dataphin智能数据构建与管理平台面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。