HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Arctic 基于 Hive 的流批一体实践
背景随着大数据业务的发展,基于Hive的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面Hudi,Iceberg这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的Hive用户有较大的迁移成本,并且难以满
Apache Kyuubi 在B站大数据场景下的应用实践
01背景介绍近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatc
人群圈选效率提升 30 倍,云积天赫基于 Apache Doris 构建统一数仓的实践
导读:随着业务量快速增长,云积天赫对数据的实时性及灵活性提出更高要求,早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求,因此云积天赫引进ApacheDoris在部分业务中使用,并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势,最终决定全
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/HIVESERVER2等服务的webui呢?一起看下相关知识。问题现象
技能速成!教你10分钟内在电脑上配置运行Hive Metastore和Presto
<blockquote作者:范斌;Alluxio创始成员、开源社区副总裁</blockquoteTo初学者:本教程将指导初学者在本地服务器上通过搭建Presto和HiveMetastore来查询S3上的数据。Presto是用于计划和执行查询的SQL引擎,S3为表分区文件提供存储服务,
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
大数据平台CDP中如何配置hive作业的YARN队列以确保SLA?大家知道,在生产环境的大数据集群中,在向资源管理器YARN提交作业时,我们一般会将作业提交到管理员指定的队列去执行,以利用YARN队列的资源隔离性确保作业能够获得足够的资源进行执行,从而确保SLA。
开启 Kerberos 安全的大数据环境中,Yarn Container 启动失败导致 spark/hive 作业失败
大数据问题排查系列开启Kerberos安全的大数据环境中,YarnContainer启动失败导致spark/hive作业失败前言大家好,我是明哥!最近在若干个不同客户现场,都遇到了大数据集群中开启Kerberos后,spark/hive作业提交到YARN
大数据生态安全框架的实现原理与最佳实践(下篇)
前言数字化转型大背景下,数据作为企业重要的战略资产,其安全的重要性不言而喻。我们会通过系列文章,来看下大数据生态中安全框架的实现原理与最佳实践,系列文章一共两篇,包含以下章节:大数据生态安全框架概述HDFS认证详解HDFS授权详解HIVE认证详解
关于 group by 和 distinct 的优化之争
<blockquote一直能在网上看到很多小视频和小文章,上来就讲sql优化,要用groupby,不要用distinct,但是事实果真是groupby优于distinct吗?对所有数据库和查询引擎来说都是这样吗?显然不是,这篇文章就梳理一下在hive和mysql中二者的区别
Hive开窗函数的应用场景
<blockquote开窗函数分为两类:聚合开窗函数和排序开窗函数,有时候一组数组只返回一组值是不能满足我们的数据分析需求的,我们需要知道某个学科的前几名详细信息、最近一次下单的用户订单详情、下过n次单的用户等等,这个时候开窗函数就可以派上用场了。如果没有开窗函数的话,则需要通过复杂的关联查询才能
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。