HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
HBase统计
HBase统计方法使用Hive统计建一张Hive表映射HBase表<pre<codeCREATEEXTERNALTABLELJKTEST(IDSTRING,AGESTRING,NAMESTRING,COMPANYSTRING,
HBase二级索引方案
HBase二级索引方案TOC使用HBaseCoprocessor方案测试案例需求:在原表LJK_TEST上,将mycf:name作为二级索引。第一步创建一张索引表<codecreate&39;INDEX_LJK_TEST&39;
【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法
现在还没有一个统一的流式SQL语法标准,各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题,社区版本在流式SQL上迟迟没有动作。EMRSpark在今年上半年提供了自己设计版本的流式SQL支持,也会在后续的更新中吸收和支持这些优秀的设计建议。原
使用Spark Streaming SQL基于时间窗口进行数据统计
1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间,或者业务系统中记录了用户操作时间,用于统计各种操作处理的频率等,或者根据规则匹配,进行异常行为检测或监控系统告警。这样的时间数据都会包含
EMR Spark Runtime Filter性能优化
背景Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程,如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可
大数据学习路线
一、大数据处理流程!大数据处理简化流程(/img/remote/1460000019667336?w740&h417)上图是一个简化的大数据处理流程图,大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解:
用Flink取代Spark Streaming!知乎实时数仓架构演进
作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够
Spark shuffle演进
Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO,所以执行时间势必会较长。对shuffle的优化也是sparkjob优化的重点。1.HashShuffleSpark的Shuffle在1.2之前默认的计算引擎是HashShuffleManage
大数据面试题
第一阶段:1.scala闭包2.jdk版本3.mysql版本4.垃圾回收器CMSG1HBASE笔试部分:<pre<code1.给定一个字符串,求最大的回文长度????2.给定两个有序的数组,合并一个有序的数组3.一个有序的数组构建成平衡的二叉树</code</pre第二
Spark History Server配置
本文是对于自己编译的Spark部署,如果是CDH集成的Spark则可直接在管理界面中查看。1.在hdfs中创建一个目录,用于保存Spark运行日志信息。<pre<code$hdfsdfsmkdir/spark/historylog</code</pre
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。