HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

使用Blink SQL+UDAF实现差值聚合计算

本案例根据某电网公司的真实业务需求,通过BlinkSQLUDAF实现实时流上的差值聚合计算,通过本案例,让读者熟悉UDAF编写,并理解UDAF中的方法调用关系和顺序。感谢@军长在实现过程中的指导。笔者水平有限,若有纰漏,请批评指出。<a</a一、客户需求电网公司每天采集各个

HBase Filter 过滤器之RowFilter详解

前言:本文详细介绍了HBaseRowFilter过滤器Java&amp;ShellAPI的使用,并贴出了相关示例代码以供参考。RowFilter基于行键进行过滤,在工作中涉及到需要通过HBaseRowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文:HBase

Git

全世界最牛批的分布式版本管理工具一、搭建git环境从git官网下载,在安装选择时,第二次选择选第三个选项(避免回车符问题)在命令行里设置git的配置信息(用户名和邮箱),之后的提交都会用这两个信息可通过gitconfiglist来查看git环境参数配

Spark—>调优篇

Why写这篇博客是因为,在写spark任务中,离不开调优的工作,因此将常用的操作记录下来,方便以后的调优工作;同时如果之后发现了其他的调优手段,也会将其记录进来ps:(1)将八斗的spark调优手段也补充进来(2)抽时间将这些调优操作都亲自执行一遍,并记录感想一、分配

HDFS—>运维篇

一、增加节点操作系统配置:①主机名、网络、防火墙、ssh配置sshkeygentrsa同时可以把集群中任意一台节点的ssh的authkeys文件分发到最新的这个节点在所有节点的/etc/hosts文件中添加该节点的域名映射把namenode的相关配置文件

HDFS—>Namenode缓存篇

一、基本概念2.3添加了集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理阻止频繁使用的数据从内存中删除由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能客户端可以通过零拷贝技术直接读取缓存数据提高集群内存利用率,读某个

flume

一、What数据采集是完整大数据系统不可或缺的步骤日志文件:flume/logstash业务数据:sqoop外部数据:爬虫抓取基本介绍flume是一个分布式、高可靠的海量数据(1T/天)采集系统运行机制每个flume实例都有一个ag

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。