HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Hadoop设置任务执行优先级
当多个任务提交到一个队列上时,如果想让后提交的任务优先执行,就需要有任务优先级机制来帮助。下面介绍如何开启任务优先级配置,以及设置任务优先级。一、开启任务优先级配置在resourcemanager<codeyarnsite.xml</code中添加<codeyar
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/HIVESERVER2等服务的webui呢?一起看下相关知识。问题现象
【深入浅出 Yarn 架构与实现】2-1 Yarn 基础库概述
了解Yarn基础库是后面阅读Yarn源码的基础,本节对Yarn基础库做总体的介绍。并对其中使用的第三方库ProtocolBuffers和Avro是什么、怎么用做简要的介绍。一、主要使用的库ProtocolBuffers:是Google开源的
【深入浅出 Yarn 架构与实现】1-2 搭建 Hadoop 源码阅读环境
本文将介绍如何使用idea搭建Hadoop源码阅读环境。(默认已安装好Java、Maven环境)一、搭建源码阅读环境一)idea导入hadoop工程从github上拉取代码。https://github.com/apache/hadoop(
【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构
一、Yarn产生的背景Hadoop2之前是由HDFS和MR组成的,HDFS负责存储,MR负责计算。一)MRv1的问题耦合度高:MR中的jobTracker同时负责资源管理和作业控制两个功能,互相制约。可靠性差:管理节点是单机的,有单
数据平台发展史-从数据仓库数据湖到数据湖仓
数据平台发展史从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语,常见的包括数据仓库,逻辑数据仓库,数据湖,数据湖仓/湖仓一体,数据网格datamesh,数据编织datafabric等.笔者在这里回顾了下数据平台的发展史,也介绍和对比了下常见的概念,主要包括数
从 Hadoop 到云原生, 大数据平台如何做存算分离
Hadoop的诞生改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变;随着云计算时代的到来,存算分离的架构受到青睐,企业开开始对Hadoop的架构进行改造。今天与大家一起简单回顾Hadoop架构以及目前市面上不同的存算分离的架
数据湖统一元数据与权限
点击查看直播回放(https://link.segmentfault.com/?encBBB8ie6x9%2FaoiZPizoFfrQ%3D%3D.Rp4hrxv%2BtXtXGqih2H0qdqeIcjdIi4Ol8d6yjddYMRW%2FbW9io7rxv%2FDwHG9p6Drl)
(2)sparkstreaming滚动窗口和滑动窗口演示
一、滚动窗口(TumblingWindows)滚动窗口有固定的大小,是一种对数据进行均匀切片的划分方式。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个,就是窗口的大小(windowsize)。!图片(https:/
(1)sparkstreaming结合sparksql读取socket实时数据流
SparkStreaming是构建在SparkCore的RDD基础之上的,与此同时SparkStreaming引入了一个新的概念:DStream(DiscretizedStream,离散化数据流),表示连续不断的数据流。DStream抽象是SparkStreaming的流处理模型,在内部实
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。