HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Kylin on Parquet 介绍和快速上手
转载自ApacheKylin公众号(作者也是我):原文链接(https://link.segmentfault.com/?encLDOz8Sal1cmmFe2OrzjRTQ%3D%3D.SPCzxdMRaxq%2BRjy%2BZlB0TUQPwZ5LhG7k8KCHvLRT9wvUeUGbj
Kylin 4.0 TopN实现原理介绍
引言ApacheKylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。它能在亚秒内查询巨大的数据集。从Kylin1.5开始就已经加入了TopN的度量,一直到kylin3.x,实现上没有太大改变,想了解ky
用java实现spark的rdd接口
本文基于文章https://blog.csdn.net/lemonlhy/article/details/80059289(https://link.segmentfault.com/?enchcLi%2B8s7DYnRoOap1QlW6w%3D%3D.0bPG4tjj5Iln9eHiDHP
Spark-submit执行流程,了解一下
<blockquote<strong摘要:</strong本文主要是通过Spark代码走读来了解sparksubmit的流程。</blockquote1.任务命令提交我们在进行Spark任务提交时,会使用“sparksubmitclass.....”样式的命令来提
Hive引擎Spark优化配置参数2
上一篇内容讲了资源参数优化,本篇继续说明sparkdriver以及sparkshuffle相关的参数调优。扩展sparkdriver动态资源分配在Facebook,Spark集群启用了动态资源分配(DynamicExecutorAllocation),
Hive引擎Spark优化配置参数1
Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析
AQE简介从sparkconfiguration(https://link.segmentfault.com/?enc9iiYgd0ydBC0V81js7Smmw%3D%3D.o1C68v8q%2BWo2bWYQAJnxZrOTZp9k%2B0IxH%2Bv8Mh6TmMjjFd
如何应对Spark-Redis行海量数据插入、查询作业时碰到的问题
<blockquote<strong摘要:</strong由于redis是基于内存的数据库,稳定性并不是很高,尤其是standalone模式下的redis。于是工作中在使用SparkRedis时也会碰到很多问题,尤其是执行海量数据插入与查询的场景中。</blockquote海量
【spark系列1】delta.io到底解决了什么问题
本文转载自https://mp.weixin.qq.com/s/ZN...(https://link.segmentfault.com/?enc9mRhRQp1UoFOjsR0kv6Fbg%3D%3D.y6%2B2h5tWMTa14FDOth%2BdamvO2kxXV7C2Px1vuS9%2
Spark的五种JOIN策略解析
JOIN操作是非常常见的数据处理操作,Spark作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略,希望对你有所帮助。本文主要包括以下内容:影响JOIN操作的因素Spark中JOIN执行的5种策略Spark是如何选择JO
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。