HelloWorld 开发者社区
科技资讯
微软 MAI Code 2 系列进入 Copilot:按工程任务选择编程模型
OpenAI 发布 GPT-6.2 Astra 与 Sol:专业交付、编程效率与团队选型
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
开源项目
全部项目推荐好文
Spark学习之路 (十七)Spark分区
一、分区的概念 分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区 数据分区,在分布式
Spark学习之路 (二十八)分布式图计算系统
一、引言 在了解GraphX之前,需要先了解关于通用的分布式图计算框架的两个常见问题:图存储模式和图计算模式。二、图存储模式 巨型图的存储总体上有边分割和点分割两种存储方式。2013年,GraphLab2.0将其存储方式由边分割变为点分割,在性能上取得重大提升,目前基本上被业界广泛接受并使用。
Spark学习之Spark安装
Spark安装spark运行环境spark是Scala写的,运行在jvm上,运行环境为java7如果使用Python的API,需要使用Python2.6或者Python3.4Spark1.6.2 Scala2.10 Spark2.0.0 Scala 2.11
Spark如何进行动态资源分配
一、操作场景对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务,若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而
Spark入门(二)
用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处,其中最大的好处,就是我们甚至可以在工程当中直接运行、调试我们的代码,在控制台输出我们的结果。或者可以逐行跟踪代码,了解spark运行的机制。因此我们选择了idea,当然Idea不是首选,当然也可以用其他工具。因为我们的Spark程序用scala和ja
SparkStreaming DStream相关操作
DStream的相关操作:DStream上的操作与RDD的类似,分为以下两种:1.Transformations(转换)2.OutputOperations(输出)/Action1.1Transformations
SparkSql学习2 —— 在内存中分析2000万数据
上一篇,我们借助Sqlite分析了2000w条数据,分析结果不错,但有一个问题:造数据很耗时(花费了2个小时)、sql查询同样很耗时(分组汇总查询一次大概需要30秒)。那么,我们可以尝试下直接在内存中分析,那么会不会更快一些呢?上代码:packagecom.lnwazg.a;importjava.util.Hash
SparkSql学习1 —— 借助SQlite数据库分析2000万数据
总所周知,Spark在内存计算领域非常强势,是未来计算的方向。Spark支持类Sql的语法,方便我们对DataFrame的数据进行统计操作。但是,作为初学者,我们今天暂且不讨论Spark的用法。我给自己提出了一个有意思的思维游戏:Java里面的随机数算法真的是随机的吗?好,思路如下:1\.取样,利用Java代码随机生成2000万条01
SparkSQL读写外部数据源
objectJdbcDatasourceTest{defmain(args:ArrayString):Unit{valsparkSparkSession.builder().appName("JdbcDatasourceTest")
SparkSQL查询程序的两种方法,及其对比
import包:importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.types.{IntegerType,StringType,StructField,StructTyp
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。


