HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
面试系列:如何让你的spark sql运行的更快一些?
在spark设置并行度一般通过两种方式来设置:1.spark.default.parrallelism2.textFile()传入第二个参数,指定partition数量使用sparksql的时候会出现什么问题?但是如果使用来sparksql,用sp
日志服务(SLS)集成 Spark 流计算实战
前言日志服务作为一站式的日志的采集与分析平台,提供了各种用户场景的日志采集能力,通过日志服务提供的各种与·与SDK,采集客户端(Logtail),Producer,用户可以非常容易的把各种数据源中的数据采集到日志服务的Logstore中。同时为了便于用户对日志进行处理,提供了各种支持流
Spark 数据倾斜及其解决方案
<blockquote<ul<li本文首发于vivo互联网技术微信公众号<ahref"https://link.segmentfault.com/?enc3%2BIFfW9VxfVbG9OF1V8Bfw%3D%3D.Mhmrl3o%2B81yUftCl8gYLqeCEqBWtjX
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践
Facebook经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于Hive平台(ApacheHive是Facebook在2009年贡献给社区的)和Corona(Facebook内
Spark Streaming vs. Structured Streaming
简介SparkStreamingSparkStreaming是spark最初的流处理框架,使用了微批的形式来进行流处理。提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流计算Structur
Spark整合Ray思路漫谈
什么是Ray之前花了大概两到三天把Ray相关的论文,官网文档看了一遍,同时特意去找了一些中文资料看Ray当前在国内的发展情况(以及目前国内大部分人对Ray的认知程度)。先来简单介绍下我对Ray的认知。首先基因很重要,所以我们先需要探查下Ray最初是为了解决什么问题而产生的。Ra
制作特斯拉汽车自有监控优盘
若要激活特斯拉自带的行车记录监控,需要插入一枚特制的优盘。代码如下(MacOS):<pre<codeecho&34;MakeTeslaCameraUSB...&34;diskutileraseDiskFAT32TESLAdiskutillist|grep&
Spark ML的特征处理实战
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。一、特征处理的意义通常情况下,我们得到的数据中包含脏数据或者噪声。在模型训练前,需要对这些数据进行预处理,否则再好的模型也只能“garbagei
图解RDD血缘关系
需求有三个RDD,分别是rddA,rddB,rddC.取数据<code1,2,3,4,5</code并且分成三个分区,对输入的数据的每一个数据2,只取大于6的数据.代码<pre<codevalrddAsc.parallelize(List(1,
剖析Spark数据分区之Spark RDD分区
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第二篇,将重点分析SparkRDD的数据分区。该系列共分3篇文章,欢迎持续关注。第一篇:主要分析Hadoop中的分片(https://segmentfault.com/a/1190000021282813);
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。