HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Livy探究(一) -- 初体验
<blockquote<ahref"https://segmentfault.com/a/1190000025184148"target"_blank"Livy探究(一)初体验</a<br/<ahref"https://segmentfault.com/a/1190000
如何实现Spark on Kubernetes?
简介:大数据时代,以Oracle为代表的数据库中间件已经逐渐无法适应企业数字化转型的需求,Spark将会是比较好的大数据批处理引擎。而随着Kubernetes越来越火,很多数字化企业已经把在线业务搬到了Kubernetes之上,并希望在此之上建设一套统一的、完整的大数据基础架构。那么Spa
从 Neo4j 导入 Nebula Graph 实践见 SPark 数据导入原理
!Neo4j数据导入实现(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/e2f16dbce6fd1e081c19d13004772b37.png)本文主要讲述如何使用数据导入工具NebulaGraphExchange
2020年美国新冠肺炎疫情数据分析
US_2019COVID介绍2020年美国新冠肺炎疫情数据分析截止2020年9月9日<blockquote<ul<li数据处理</li<li使用Spark对数据进行分析</li<li数据可视化</li</ul</blockquot
案例解析丨 Spark Hive 自定义函数应用
<blockquote摘要:Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数。</blockquote1.简介Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数。UDF使用场景:输入一行,返回一个结果,一对一,比如定义一个函数,功能是输入一个IP地
SAP Fiori Elements如何基于domain fixed value创建下拉菜单
SeveraldaysagoIwroteablogHowtobuildadropdownlistusingSmarttemplateCDSview(https://link.segmentfault.com/?encxPERcPhmabrQ8Np5Gn%
技本功|Hive优化之Spark执行引擎参数调优(二)
Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。
Spark任务的core,executor,memory资源配置方法
静态分配:OS(操作系统预留)1core1Gcore并发能力<5executorAM预留1个executor余executor总executor1memory预留每个executor0.07比例MemoryOverheadmax(384M,0.07×s
技术揭秘:华为云DLI背后的核心计算引擎
<blockquote<strong摘要:</strong介绍隐藏在华为云数据湖探索服务背后的核心计算引擎Spark,玩转DLI,,轻松完成大数据的分析处理。</blockquote本文主要给大家介绍隐藏在华为云数据湖探索服务(后文简称DLI)背后的核心计算引擎——Spark。DLI
Spark java+scala项目打包(jar)
1.法1:maven打包pom.xml文件<pre<code<plugins><plugin><artifactId>mavenassemblyplugin</artifactId&g
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。