HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark源码拜读(一)
RDD从一个样子转换成另一个状态,代码执行了,啥也没干,到了最后一步一下干了!懒加载是怎么做到的?打开RDD.scala,看最基础的map方法<pre<code/ReturnanewRDDbyapplyingafunctiontoallelement
Spark内置图像数据源初探
作者:林武康,花名知瑕,阿里巴巴计算平台事业部EMR团队的高级开发工程师,ApacheHUEContributor,参与了多个开源项目的研发工作,对于分布式系统设计应用有较丰富的经验,目前主要专注于EMR数据开发相关的产品的研发工作。概述在ApacheSpark2.4中
Spark系列——从零学习SparkSQL编程(上)
!图片描述(/img/bVbumCo?w1025&h472)!图片描述(/img/bVbumCr?w1024&h430)!图片描述(/img/bVbumCz?w1026&h529)!图片描述(/img/bVbumCB?w1025&h
Spark统一内存管理
Spark1.6以后,增加统一内存管理机制内存管理模块包括堆内内存(OnheapMemory),堆外内存(OffheapMemory)两大区域。1.堆内内存!clipboard.png(/img/bVbui9O?w830&h752)ExecutorMem
谈谈 Spark 应用日志级别的坑
<blockquote环境说明:HDP3.0KerberosLivy</blockquote根据Spark(https://link.segmentfault.com/?encal34XFH2CkpcDfR1igErPw%3D%3D.x8BqBtkN80%2BwIjQI
Spark应用开发(上)
Spark架构:关键名词:masterworkerexecutortaskdriverSpark集群启动之后,是主从式架构(masterworker),95%的大数据架构都是主从式hadoopyarn:Yarn:主节点:resourcemanager管理整个集群的资源从节点:nodem
Spark系列——从零学习Scala并发编程
!图片描述(/img/bVbt1vI?w1272&h747)!图片描述(/img/bVbt1vT?w1357&h664)!图片描述(/img/bVbt1v2?w1273&h706)!图片描述(/img/bVbt1v3?w1279&am
Spark内置图像数据源初探
概述在ApacheSpark2.4中引入了一个新的内置数据源,图像数据源.用户可以通过DataFrameAPI加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简单的处理,然后使用MLlib进行特定的训练和分类计算.
Spark Streaming读取kafka数据方式的优化对比
!(/img/remote/1460000019494389?w900&h384)_作者:个推数据研发工程师学长_1业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析
大数据系列——Spark学习笔记之 Spark SQL
1.SparkSQL是什么?处理结构化数据的一个spark的模块它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用2.SparkSQL的特点多语言的接口支持(javapythonscala)
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。