HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
isEmpty类型的action算子需要cache吗?
有的时候,需要判断<coderdd.isEmpty()</code,以决定是否需要后续操作。而这个<codeisEmpty</code方法是个action算子。也就是说如果rdd不为空,需要做后续操作的话,那么这个rdd的创建过程可能就执行了两遍。那么rdd需要<codecache</co
数据湖应用解析:Spark on Elasticsearch一致性问题
<blockquote<strong摘要:</strong脏数据对数据计算的正确性带来了很严重的影响。因此,我们需要探索一种方法,能够实现Spark写入Elasticsearch数据的可靠性与正确性。</blockquote概述Spark与Elasticsearch(es)
Spark读取Kafka的两种方式Reciver和Direct及scala代码示例
1.Reciver方式!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/8be22c50d76fcd4e3cea85842187c743.png)基于Receiver方式,Spark内部使用K
【赵渝强老师】Flink的Watermark机制(基于Flink 1.11.0实现)
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/13ab3f04773ca8f80f9de14123d3d138.png)在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到
Greenplum-Spark Connector 介绍
<blockquote<strong获得Greenplum更多干货内容,欢迎前往<ahref"https://link.segmentfault.com/?encd3M2ALHwj%2BEqKnrWRgohBw%3D%3D.JjnDjK99D3GlQ6np%2BXBhirQCWmfMPBr
浅析图数据库 Nebula Graph 数据导入工具——Spark Writer
!SparkWriter(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/e292f9d2f5d708827cd78402192d3cce.png)从Hadoop说起近年来随着大数据的兴起,分布式计算引擎层
[Spark]Spark优化笔记
该笔记来自美团spark性能优化指南(https://link.segmentfault.com/?enc7TdEVJu2nYNqxRQ3elBmrA%3D%3D.ZSOUFUHBM0OqmUmWzscRYWAXzQQY6BljLw%2FXAJtedFgwdlEB%2B71OofEsLGN
推荐系统大规模特征工程与FEDB的Spark基于LLVM优化
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践,主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍
Spark SQL小文件问题在OPPO的解决方案
<blockquote本文来自OPPO互联网基础技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。</blockquoteSparkSQL小文件是指文件大小显著小于hdfsblock块大小的的文件。过于繁多的小文件会给HDFS带
半小时,将你的Spark SQL模型变为在线服务
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用!image2020625_9562.png(https://img
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。