HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
「Spark 从精通到重新入门(一)」Spark 中不可不知的动态优化
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/a8d551882cbd71efd6c43860c5213280.png)前言ApacheSpark自2010年面世,到现在已经发展为大数据批计算的首选
大数据开发开源平台之Spark SQL的基础
SparkSQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。SparkSQL使得一般的开发人员或者非专业的开发人员,也大数据培训(https://link.segmentfault.com/?encKV2An%2FqrDWbyGNXnQQ3szw%3D%3D
【干货】大数据开发之Spark总结
一、本质Spark是一个分布式的计算框架,是下一代的MapReduce,扩展了MR的数据处理流程二、mapreduce有什么问题1.调度慢,启动map、reduce太耗时2.计算慢,每一步都要保存中间结果落磁盘3.API抽象简单,只有map和reduce两个原语
深度解读|Spark 中 CodeGen 与向量化技术的研究
在Kyligence推出的首期Data&AIMeetup中,畅销书《深入理解Spark》作者、Kyligence高级性能工程师耿嘉安带来了主题为「SparkCodeGeneration&Vectorization」的分享,深入浅出地讲解了「Spark为什
Spark主备切换机制原理
Master实际上可以配置两个,那么在spark原生的standalone上也是支持Master主备切换的,也就是说,当ActiveMaster节点挂掉之后,我们可以将StandbyMaster切换为ActiveMasterSparkMaster的主备切换可以基于两种切换机制,一种是文件
驴行千里不洗沙尘,尚硅谷Spark性能调优教程发布
摘要:当年少立志三千里,莫踌躇百步无寸功。你是不是长了颗红楼梦的心,却生活在水浒的世界,想结交些三国里的桃园弟兄,却总遇到西游记中的各路妖魔鬼怪。Today,我们聊聊从西游记看职场,聊一聊我们应该端什么碗吃什么饭。唐三藏吃资源饭。女儿国国王为什么叫他御弟哥哥?地下
Spark 架构设计与原理思想
Spark在MapReduce的基础上进行了改进,它主要使用内存进行中间计算数据存储,加快了计算执行时间,在某些情况下性能可以提升百倍。 除了速度更快,Spark和MapReduce相比,还有更简单易用的编程模型。 Spark的主要编程模型是RDD
极光笔记丨Spark SQL 在极光的建设实践
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/23a1e48c09668be937b2ca8aff4528cf.png)_极光高级工程师——蔡祖光_前言Spark在2018开始在极光大数据平台部署使用,历经多
Spark常见面试题
Spark常见面试题<pre<codeSparkonYarn两种方式的区别以及工作流程Spark内存管理官网优化这块查看Spark作业资源的设置情况excutor个数memorycoredriverShuffle机制DataFrame/DataSet和RD
大数据开发之Spark SQL执行性能的提升
Catalyst是SparkSQL核心优化器,早期主要基于规则的优化器RBO,后期又引入基于代价进行优化的CBO。但是在这些版本中,SparkSQL执行计划一旦确定就不会改变。由于缺乏或者不准确的数据统计信息(如行数、不同值的数量、NULL值、最大/最小值等)和对成本的错误估算导致生成的初始
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。