HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Flink流处理API代码详解,含多种Source、Transform、Sink案例,Flink学习入门(二)
<blockquote大家好,我是后来,我会分享我在学习和工作中遇到的点滴,希望有机会我的某篇文章能够对你有所帮助,所有的文章都会在公众号首发,欢迎大家关注我的公众号&34;<strong后来X大数据</strong&34;,感谢你的支持与认可。</blockquote又是一周没
通过WordCount来入门Flink,读懂Flink基础架构,Flink学习入门(一)
<blockquote大家好,我是后来,我会分享我在学习和工作中遇到的点滴,希望有机会我的某篇文章能够对你有所帮助,所有的文章都会在公众号首发,欢迎大家关注我的公众号&34;<strong后来X大数据</strong&34;,感谢你的支持与认可。</blockquote前几天写的
来看一看,如何在魔盒(大数据开发协作平台)中提高RabbitMQ消费速度
<blockquote1.本篇主要介绍实际的生产项目中,在消费者集群资源有限的前提下,通过哪些优化手段可以去提高RabbitMQ消费端的消费速度。<br/2.为了帮助大家能够更清晰的认识问题,文中特意将优化前和优化后的耗时进行了一个总结对比,文末提供有demo下载地址。<br/3.
一文详解Spark Shuffle
前言SparkShuffle是大众讨论的比较多的话题了。它是Spark任务执行过程中最为重要的过程之一。那么什么是Shuffle呢?Shuffle一般被翻译成数据混洗,是类MapReduce分布式计算框架独有的机制,也是这类分布式计算框架最重要的执行机制。接下来会按照两个层面来谈谈
Spark源码拜读之RDD的迭代器串联
1.迭代器模式在计算时,为了节省内存,不把所有的数据一次全部加载到内存中,有一种设计模式叫迭代器模式。迭代器模式:在逻辑代码执行时,真正的逻辑并未执行,而是创建了新的迭代器,新的迭代器保存着对当前迭代器的引用从而形成链表,每个迭代器需要实现hasNext(),next()两个
大数据面试题总结
1.大数据技术1.1描述一下checkpoint的流程?Checkpoint其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照),这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交?对于每个checkpoint,sink任务
Spark:安装及环境配置指南!
前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。1、Apachespark下载 在浏览器输入网址https://spark.apache.org/down...(https://link.segmentfault.com/?encYZfu
pyspark读csv
pyspark读取csv中的数据。csv有header。header中有两列,列名为:bd,tt。<pre<codefrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportfrompyspark.s
Spark源码学习--内置RPC框架(3)
RPC客户端工厂TransportClientFactoryTransportClientFactory是创建TransportClient的工厂类。TransportContext的createClientFactory方法可以创建TransportClientFactory的实例
Spark源码解析-textFile
概述RDD是Spark的核心,其创建方式可以通过其他RDD转换而来,或者从存储系统中创建,比如本地文件系统或者hdfs。其中SparkContext中的textFile便可以从文件系统中生产RDD,其实质便是new出了RDD的实例,其中一个重要的信息便是分区。下面将详细介绍。
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。