HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark 2.3.1数据导入ElasticSearch 5.5.3
Spark2.3.1数据导入ElasticSearch5.5.3<codeTODO</code
Spark CommitCoordinator 保证数据一致性
<blockquote原创文章,转载请务必将下面这段话置于文章开头处。<br/本文转发自<ahref"https://link.segmentfault.com/?encl2OnhMvFc9WGP4vuKWsnng%3D%3D.U2VQvGwUWWOGjUE8U28ddDNsT%2BX4J
spark应用中jackson版本冲突的解决
spark程序里使用了jackson去做scala对象的json序列化和反序列化。运行时出现java.lang.NoClassDefFoundError和java.lang.AbstractMethodError错误,网上搜了一下发现是jackson/guava和spark本身带的版本冲突。
Safetype Config使用
最近在写spark程序,想找一个配置管理的库,发现了这个,记录一下简单的使用1.添加maven依赖项<pre<code<dependency><groupId>com.typesafe
Hello Spark! | Spark,从入门到精通
<blockquote欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,欢迎大家持续关注:)</blockquote什么是Spark?Spark是UCBerke
Spark的分区机制的应用及PageRank算法的实现
<blockquote<strong佩奇排名</strong(PageRank),又称<strong网页排名</strong、<strong谷歌左侧排名</strong,是一种由<ahref"https://link.segmentfault.com/?enc419g5N0g6
Spark Catalyst中的TreeNode源码解析
简介<blockquote源码基于Spark2.0.2版本</blockquoteTreeNode累是Catalyst中和执行计划相关的所有AST,包括表达式Expression、逻辑执行计划LogicalPlan,物理执行计划SparkPlan的基类。TreeNode继
大数据核心知识点:Hbase、Spark、Hive、MapReduce概念理解,特点及机制
今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发。面试官问了他10个问题,主要集中在Hbase、Spark、Hive和MapReduce上,基础概念、特点、应用场景等问得多。看来,还是非常注重基础的牢固。整个大数据开发技术,这几个技术知识点占了很大一部分。那本
Idea+maven+scala构建包并在spark on yarn 运行
配置<codeMaven</code项目在<codepom.xml</code配置文件中配置spark开发所需要的包,根据你<codeSpark</code版本找对应的包,Maven中央仓库(https://link.segmentfault.com/?encT
Hadoop中的通用分布式计算框架
_本文的内容是对本人近期学习hadoop系统过程的总结和思考,接触的通用计算框架有限,错误在所难免,欢迎指正和讨论_我接触的hadoop中的通用计算框架主要是mapreduce和spark。其中mapreduce在hadoop2.0中被简化,将资源管理的功能抽象、独立出来,形成了yarn,一个
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。