HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
SparkSQL执行update操作修改mysql数据
这是不需要改源码的方式<pre<code//user表样例类caseclassUser1(id:Long,name:String,password:String,imgUrl:String,update_date:String)objectSparkSQLUp
个推技术:ETL工程师必看!超实用的任务优化与断点执行方案
前言随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。作为一家数据智能公司,个推在大数据计算领域沉淀了丰富
实时计算框架:Flink集群搭建与运行机制
一、Flink概述1、基础简介Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。
实时计算框架:Spark集群搭建与入门案例
一、Spark概述1、Spark简介Spark是专为大规模数据处理而设计的,基于内存快速通用,可扩展的集群计算引擎,实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流,运算速度相比于MapReduce得到了显著的提高。2、运行结构!(ht
Hadoop是否会被Spark取代?Hadoop生态组件原理解析
Hadoop和Spark都是目前主流的大数据框架,但是随着Spark在速度和易用性方面表现出的优势,一些国内外专家逐渐推崇Spark技术,并且认为Spark才是大数据的未来。本文将会浅析Hadoop生态的发展历程及其中部分组件的技术原理,最终就Hadoop是否会被Spark取代给出结论。
Cannot find package module sap/cds/common
我在做SAPCloudApplicationProgramming练习时,执行下列两条命令后:cdsinitbookshopcdswatchbookshop!(https://imghelloworld.osscnbeijing.aliyuncs.co
Spark内存管理机制
Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优。本文旨在梳理出Spark内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于Spar
你的Parquet该升级了:IOException: totalValueCount == 0问题定位之旅
<blockquote<strong摘要:</strong使用SparkSQL进行ETL任务,在读取某张表的时候报错:“IOException:totalValueCount0”,但该表在写入时,并没有什么异常。</blockquote本文分享自华为云社区《你的Parque
Spark性能调优-Shuffle调优及故障排除篇
Spark调优之Shuffle调优<blockquote本节开始先讲解<strongShuffle核心概念</strong;然后针对<strongHashShuffle</strong、<strongSortShuffle</strong进行调优;接下来对<strong
Scala实现Spark环境下的决策树模型工程
一、项目背景在集团数据挖掘项目下,用户画像工程需要开发很多基础标签,如年龄、性别、婚姻状况、资产情况等标签。这些标签不能使用集团下的各个数据源来简单的处理后,得到结果作为最终评价结果,因为不同数据源的数据质量参差不齐,且各个数据源得到的结果置信度情况也不一样。因此我们需要使用决策树XG
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。