HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Hadoop 及Spark 分布式HA运行环境搭建
作者:京东物流秦彪工欲善其事必先利其器,在深入学习大数据相关技术之前,先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境,对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hado
Centos7系统编译Hadoop3.3.4
1、背景最近在学习<codehadoop</code,此篇文章简单记录一下通过源码来编译<codehadoop</code。为什么要重新编译<codehadoop源码</code,是因为为了匹配不同操作系统的本地库环境。2、编译源码2.1下载并解
分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表
分享一个HIVESQL性能优化点使用公共表表达式CTE替换临时表hive作业的性能优化是一个永恒的话题,其优化方法也有很多,在此分享一个优化点,即编写SQL时使用公共表表达式CTE替换临时表,经测试优化效果还不错,尤其是涉及到当量IO的场景。1.CTE
【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application
在YARN中,Application是指应用程序,它可能启动多个运行实例,每个运行实例由—个ApplicationMaster与一组该ApplicationMaster启动的任务组成,它拥有名称、队列、优先级等属性,是一个比较宽泛的概念,可以是一个MepReduce作业、一个D
大数据复习
hdfs的实现目标和局限1.实现目标兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性2.局限不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件name
在Windows上的安装 Spark
!file(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/de111248c147ace880ae9a56cf737b66.png)安装Java8或更高版本要在windows上安装ApacheSpark,你
【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager
本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分:检查NM是否存活;管理NM的黑白名单;响应NMRPC请求。一、简介在RM的主从结构中,最主要的就是RM和NM之间的主从结构。RM作为「管理员」,管理下面多个NM节
【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master
上一篇文章对ResourceManager整体架构和功能进行了讲述。本篇将对RM中管理ApplicationMaster的部分进行深入的讲解。下面将会介绍RM与AM整体通信执行流程,并对RM中涉及的对应服务进行具体讲解。为了更好的学习本篇知识,建议先熟悉以下知识点,不了解的
hadoop集群搭建
集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算
更改 HIVE 表字段数据类型有哪些注意事项?
更改HIVE表字段数据类型有哪些注意事项?1.使用HIVE表的常见规范在大数据离线分析场景中,在数据建模/表格式这一层,目前使用最多的还是APACHEHIVE这一数据仓库框架(湖仓一体的框架,如Iceberg/DeltaLake/Hudi也在加速落地)。
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。