HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark优化之小文件是否需要合并?
我们知道,大部分Spark计算都是在内存中完成的,所以Spark的瓶颈一般来自于集群(standalone,yarn,mesos,k8s)的资源紧张,CPU,网络带宽,内存。Spark的性能,想要它快,就得充分利用好系统资源,尤其是内存和CPU。有时候我们也需要做一些优化调整来减少内存占用,例
第七篇|Spark平台下基于LDA的k-means算法实现
本文主要在Spark平台下实现一个机器学习应用,该应用主要涉及LDA主题模型以及Kmeans聚类。通过本文你可以了解到:文本挖掘的基本流程LDA主题模型算法Kmeans算法Spark平台下LDA主题模型实现Spark平台下基于LDA的Kmeans算法实现
第六篇|Spark MLlib机器学习(1)
MLlib是Spark提供的一个机器学习库,通过调用MLlib封装好的算法,可以轻松地构建机器学习应用。它提供了非常丰富的机器学习算法,比如分类、回归、聚类及推荐算法。除此之外,MLlib对用于机器学习算法的API进行了标准化,从而使将多种算法组合到单个Pipeline或工作流中变得更加容易。通过本
第五篇|Spark-Streaming编程指南(2)
第四篇|SparkStreaming编程指南(1)(https://link.segmentfault.com/?encj1QM%2BEQ0stKVJOhSUVqFrA%3D%3D.DEyBIc2fvHf0iYFrZ3LAmcJmCxMyoNsbFVjKgH3lFQwm3zpXkln6TVl
第四篇|Spark Streaming编程指南(1)
SparkStreaming是构建在SparkCore基础之上的流处理框架,是Spark非常重要的组成部分。SparkStreaming于2013年2月在Spark0.7.0版本中引入,发展至今已经成为了在企业中广泛使用的流处理平台。在2016年7月,Spark2.0版本中引入了Structu
第三篇|Spark SQL编程指南
在《第二篇|SparkCore编程指南》(https://link.segmentfault.com/?encU8xJNfSxH4MWfy%2FZC2Br8Q%3D%3D.K922oL1kl35GI0iZICaiD%2F3JKLigCTW1tLu%2FTRmjaQxwwFMBhNa5riEW
第二篇|Spark core编程指南
在《第一篇|Spark概览》(https://link.segmentfault.com/?encVnm2RIbnfXrAdC%2BEN3pdug%3D%3D.JmigzKXmWDtMv8OzNH7NjdbBimmi1On%2FUmJgfLzsBMDyp8esf5fNC9tTMR%2FW4Jw
第一篇|Spark概览
ApacheSpark最初在2009年诞生于美国加州大学伯克利分校的APM实验室,并于2010年开源,如今是Apache软件基金会下的顶级开源项目之一。Spark的目标是设计一种编程模型,能够快速地进行数据分析。Spark提供了内存计算,减少了IO开销。另外Spark是基于Scala编写的,提供了
Spark Streaming——Spark第一代实时计算引擎
虽然SparkStreaming已经停止更新,Spark的重点也放到了StructuredStreaming,但由于Spark版本过低或者其他技术选型问题,可能还是会选择SparkStreaming。SparkStreaming对于时间窗口,事件时间虽然支撑较少,但还是可以满足部分的实时计算场
用Spark进行实时流计算
SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架,使用了微批的形式来进行流处理。提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流计算
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。