HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Spark API Example 理解
学习背景:学习Spark的过程中,必要的一定是读官方文档。这里对http://spark.apache.org/examp...(https://link.segmentfault.com/?encUxzNNHVJC1dnmY%2F4A2t22A%3D%3D.nlfFHgw77mv
Oozie(HUE) 调度 Spark2
环境<pre<codeJDK1.8.0Hadoop2.6.0Scala2.11.8Spark2.1.2Oozie4.1Hue3.9</code</preyarnlocal模式进入Workspace
Scala implicit 隐式转换安全驾驶指南
这篇短文将结合实例对隐式转换的各种场景进行解释和总结,希望看完的人能够安全驶过隐式转换这个大坑。隐式转换函数隐式转换函数有两种作用场景。1转换为期望类型:就是指一旦编译器看到X,但需要Y,就会检查从X到Y的隐式转换函数。2转换方法的调用者:简单来说,如obj.f
Scala并发编程实战:Executor线程池
创建线程是一个重量级操作,因为需要调用操作系统内核的API,所以最好不要频繁的创建和销毁线程,为了能够复用创建的线程,常用的办法的就是创建线程池。Executorjava.util.concurren包中提供了若干接口和类来实现线程池,最常用的有Executor,ExecutorS
Spark中的RDD的分区算法-值得借鉴
Spark中的RDD的分区算法<pre<codedefpositions(length:Long,numSlices:Int):Iterator(Int,Int){(0untilnumSlices).iterator.map{i
Spark RDD 转化操作与行动操作
<blockquote本文摘自《Spark快速大数据分析》</blockquote概述RDD支持两种操作:转化操作(Transformation)和行动操作(Action)。转化操作时返回一个新的RDD的操作,比如map()和filter()。行
Spark 2.x 与 Java 8 下 WordCount 示例
运行环境<pre<codeJDK1.8.0Hadoop2.6.0Scala2.11.8Spark2.1.2</code</preRDD,不用lambda,reduceByKeyimport<pre<codeim
sortByKey引发的疑问(job,shuffle,cache)
Justforfun,写了一个demo,<pre<codevalrddsc.parallelize(Seq((1,&34;a&34;),(2,&34;c&34;),(3,&34;b&34;),(2,&34;c&34;)))valsorted
Hadoop MapReduce Spark 配置项
适用范围本文涉及到的配置项主要针对Hadoop2.x,Spark2.x。MapReduce官方文档https://hadoop.apache.org/doc...(https://link.segmentfault.com/?encboR%2
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
预聚合是高性能分析中的常用技术,例如,每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合,被降低到1000万条访问统计,这样就能降低1000倍的数据处理量,从而在查询时大幅减少计算量,提升响应速度。更高层的聚合可以带来进一步的性能提升,例如,在时间维按天聚合,或者通过站点而不是URL聚合
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。