HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
spark 优化套路
spark整个api上手较为简单,scala表达起来比较顺畅,java根据spark官方文档,理解scala的几个特性即可。spark离线处理优化目的减少无效操作,iocpu的有效利用,直接查优化技巧,不如先搞明白spark处理过程。明白以下再对应代码可以解决很多问题。
新手入门:Spark部署实战入门
Spark简介整体认识ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。Spark在整个大数据系统中处于中间偏上层的地位,如下图,对hadoop起到了补充作用:!图
使用Zeppelin来实现大数据分析的可视化
ApacheZeppelin是ASF的一个孵化项目,实现了基于web的在线代码编辑与数据可视化。有点类似SparkShell的REPL。其结果可以直接用图表来展示,解决了前端白痴的苦逼。Zeppelin官网(https://link.segmentfault.com/?encfaQb8xt
Spark Java使用DataFrame的foreach/foreachPartition
Spark已更新至2.x,DataFrame归DataSet管了,因此API也相应统一。本文不再适用2.0.0及以上版本。DataFrame原生支持直接输出到JDBC,但如果目标表有自增字段(比如id),那么DataFrame就不能直接进行写入了。因为DataFrame.
[译] 解密 Uber 数据团队的基础数据架构优化之路
!(/img/remote/1460000006766215)概述如果你用过Uber,你一定会注意到它的操作是如此的简单。你一键叫车,随后车就来找你了,最后自动完成支付,整个过程行云流水。但是,在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。
『 Spark 』6. 深入研究 spark 运行原理之 job, stage, task
原文地址:『Spark』6.深入研究spark运行原理之job,stage,task(https://link.segmentfault.com/?encsiiJy2EBvhQwpGGN1RR%2Bqw%3D%3D.CwWTjHIOvHsjOPxFdDtr%2BJiJ3DgK1
Spark Machine Learning 05 Spark构建分类模型
Spark构建分类模型在分类模型中,我们期望根据一组特征来判断类别,这些特征代表了物体、事件或上下文相关的属性(变量)。二分类!xV7ZhGr.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/
Spark Machine Learning 04 构建基于Spark的推荐引擎 (待完善)
Chap04基于Spark的推荐引擎Amazon、Netflix、YouTube、Twitter、LinkedIn、Facebook推荐是这些网站背后的核心功能之一推荐引擎背后的想法是预测人们可能喜好的物品并通过探寻物品之间的联系来辅助这个过程。与搜索引擎不同,推荐引擎试图向人
『 读书笔记 』4月读书总结|博文推荐
原文链接:『读书笔记』4月读书总结|博文推荐(https://link.segmentfault.com/?enc9leEXNDXjt1i5xdypjqiQA%3D%3D.e%2ByOkDAIP%2FlwTPVLrEnfbpf8FZZWWLFkJMcNimOFk9TxTRW0sEkL07I
『 Spark 』5. 这些年,你不能错过的 spark 学习资源
原文链接:『Spark』5.这些年,你不能错过的spark学习资源(https://link.segmentfault.com/?encTgVmsqH79kZEYg2gR2x3xg%3D%3D.4Ksgu3jTzRCTMSfYW1FFXLJxDM8M6sxyV6JoCoB8hhUmW
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。