HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark-从磁盘到内存的跨度
如果说对于的大数据处理最有贡献的当属Hadoop的三招绝学,HDFS、YARN、MapReduce,而Spark师从Hadoop,青出于蓝而胜于蓝,创建的SparkCore改进了Hadoop基于磁盘的分布式计算,独成一派创建了机遇内存的分布式计算引擎。HadoopMapReduce欲知Spark
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
公共大数据集群中如何配置YARN的公平调度器和容量调度器1YARN资源管理框架与公平/容量调度器作为一款资源调度框架,Yarn支持可插拔的调度器,常见的调度器有公平调度器fairscheduler和容量调度器capacityscheduler。常见的大数
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践
<blockquote伴随着国家产业升级的推进和云原生技术成熟,多点DMALL大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入Kyuubi实现统一SQLProxy的角度讲述这一探索实践的历程。</blockquote多点DMALL成立于2015年,提供一站
【深入浅出 Yarn 架构与实现】4-1 ResourceManager 功能概述
前面几篇文章对Yarn基本架构、程序基础库、应用设计方法等进行了介绍。之后几篇将开始对Yarn核心组件进行剖析。ResourceManager(RM)是Yarn的核心管理服务,负责集群管理、任务调度、状态机管理等,本篇将对RM总体架构进行介绍。一、RM基本职能主要
一篇文章彻底理解 HDFS 的安全模式
一篇文章彻底理解HDFS的安全模式1什么是HDFS的安全模式Hdfs的安全模式,即HDFSsafemode,是HDFS文件系统的一种特殊状态,在该状态下,hdfs文件系统只接受读数据请求,而不接受删除、修改等变更请求,当然也不能对底层的block
【深入浅出 Yarn 架构与实现】3-3 Yarn Application Master 编写
本篇文章继续介绍YarnApplication中ApplicationMaster部分的编写方法。一、ApplicationMaster编写方法上一节讲了Client提交任务给RM的全流程,RM收到任务后,由<codeApplicationsManage
【深入浅出 Yarn 架构与实现】3-1 Yarn Application 流程与编写方法
本篇学习YarnApplication编写方法,将带你更清楚的了解一个任务是如何提交到Yarn,在运行中的交互和任务停止的过程。通过了解整个任务的运行流程,帮你更好的理解Yarn运作方式,出现问题时能更好的定位。一、简介本篇将对YarnApplication编写
【深入浅出 Yarn 架构与实现】3-2 Yarn Client 编写
上篇文章介绍了编写YarnApplication的整体框架流程,本篇文章将详细介绍其中Client部分的编写方式。一、YarnClient编写方法本篇代码已上传Github:GithubMyYarnClient(https://link.segmentfa
如何杜绝 spark history server ui 的未授权访问?
如何杜绝sparkhistoryserverui的未授权访问?1问题背景默认状况下,SparkhistorySeverui是没有任何访问控制机制的,任何用户只要知道shs对应的url,就可以访问链接查看spark作业的运行状况。在证券基金银
线上 hive on spark 作业执行超时问题排查案例分享
线上hiveonspark作业执行超时问题排查案例分享大家好,在此分享一个某业务系统的线上hiveonspark作业在高并发下频现作业失败问题的原因分析和解决方法,希望对大家有所帮助。1问题现象某业务系统中,HIVESQL以hiveonspa
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。