HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
大数据系列——Spark学习笔记之Spark中的RDD
1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD
大数据系列——Spark学习笔记之初识Spark
1.Spark简介2009年,Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目,代码量非常少,属于轻量级的框架。2010年,伯克利大学正式开源了Spark项目。2013年6月,Spark成为了Apache基金会下的项目,进入高
一、 Scala语言概述
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/6792b1a4c9a1222a1f0289b61486abb2.png)第1章、Scala语言概述知识结构Scala这门课主要分为以
好程序员技术解析Hadoop和spark的性能比较
好程序员技术解析Hadoop和spark的性能比较,大数据培训一度受到广大IT爱好者的追捧,成为最热门的培训学科!前景无需多述,高薪就业,职场一片坦途!今天好程序员就为大家讲解下关于大数据的知识要点。问:Hadoop和spark的性能有何区别。 如果说Hadoop是一家大型包工队,我们可以通
使用Spark跨集群同步Hive数据
本文适用有入门spark基础的同学,一些最基础知识不再赘述通过阅读本文即可掌握使用Spark跨集群同步Hive数据的技巧!众所周知,业界比较成熟的同步数据工具是Sqoop,它是连接关系型数据库和Hadoop的桥梁比较常用的场景是从MySQL等RDB同步到Hive、Hbase或者将Hive
利用spark进行机器学习时模型序列化存储到hive解决方案
机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测1.模型存储到hive存储很简单,将要存储的模型调用如下spark的序列化方法defs
大数据工程师面试题(一)
讲一下第一个项目hive中shuffle的优化压缩压缩可以使磁盘上存储的数据量变小,通过降低I/O来提高查询速度。对hive产生的一系列MR中间过程启用压缩<pre<codesethive.exec.compress.intermediatetrue;s
漫谈分布式计算框架
<blockquote<strong摘要:</strong 本文主要谈了一些分布式计算框架方面的心得。</blockquote如果问mapreduce和spark什么关系,或者说有什么共同属性,你可能会回答他们都是大数据处理引擎。如果问spark与tensorflow呢
如何解决大数据计算中常见的数据倾斜问题?
数据倾斜是在大数据计算中常见的问题,用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了&39;一个人累死,其他人闲死&39;的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这
好程序员大数据教程:SparkShell和IDEA中编写Spark程序
好程序员大数据教程:SparkShell和IDEA中编写Spark程序,sparkshell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。sparkshell程序一般用作Spark程序测试练习来用。sparkshell属于S
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。