Redash+kettle解决方案

贾敏
• 阅读 2535

Redash自带简单的结果集再运算能力,提供从数据抽取、数据建模、数据分析,到数据可视化、预警分发的一站式数据分析应用能力; 即便试用专业的ETL工具,也可实现多数据源的联合动态分析(联动、钻取、动态参数等交互分析功能)。允许用户快速接入各类数据源,无需借助数仓即可实现数据导入-处理-分析的流程,因此Redash可以在没有数据仓库的前提下实现实时智能数据分析为主、辅以简单数据处理加工的应用场景。

但是,随着企业用户数据量、分析复杂度的不断提升,数据分析平台上轻量式数据存储与数据流处理模块是难以承受巨大的计算压力的,需要大量指标运算、大量历史数据同比/环比运算的,还是需要有计划地建设数据仓库或数据平台。Redash能完美集成开源ETL工具Kettle,构建企业级数据仓库和BI系统。

Redash+kettle解决方案

数据不会像水一样从源头直接流进BI系统。通常我们需要ETL(即数据抽取、转换、装载的过程)工具来把数据从源头抓取到BI的数据仓库,ETL工具能将企业中的分散、零乱、标准不统一的数据整合到一起。

Redash+kettle解决方案

Kettle是一款高效易用的ETL工具,可以实现数据从多个异构数据源加载到目标地址。Kettle可以在Windows、Linux、Unix上运行,支持图形化的GUI设计界面,以工作流的形式流转,数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面高效稳定。

Kettle介绍

Kettle是一个组件化的集成系统,包括如下几个主要部分:

1.Spoon:图形化界面工具(GUI方式),Spoon允许你通过图形界面来设计Job和 Transformation,可以保存为文件或者保存在数据库中。也可以直接在Spoon图形化界面中运行Job和Transformation,

2.Pan:Transformation执行器(命令行方式),Pan用于在终端执行Transformation,没有图形界面。

3.Kitchen:Job执行器(命令行方式),Kitchen用于在终端执行Job,没有图形界面。

4.Carte:嵌入式Web服务,用于远程执行Job或Transformation,Kettle通过Carte建立集群。

5.Encr:Kettle用于字符串加密的命令行工具,如:对在Job或Transformation中定义的数据库连接参数进行加密。

应用案例

某超市应用redash制作实时数据分析报表,前期主要获取最新实时数据,时效性要求高,因此采用redash直接动态获取数据库数据实时展示。

Redash+kettle解决方案

但是后期随着业务发展,数据取数越来越复杂,需要分析大量数据的指标和同比环比情况,而且数据即时性要求并不高时,采用redash多种结果集查询运算反复取数据,数据分析效率比较低。数据量非常大的情况,使用kettle可以直接作业和转换,一个作业里可以执行多个转换,这样数据分析效率就会大大提升,最后配合Redash进行可视化分析,制作报表进行展示。

Redash+kettle解决方案

Kettle可以简化数据仓库的创建,更新和维护,帮助企业快速搭建异构数据源之间的数据管道,让复杂的数据项目不再成为瓶颈,Redash+kettle=完整的BI项目解决方案,实现一站式打造企业级数据可视化分析云平台。

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Aidan075 Aidan075
4年前
如何用python进行数据分析——00环境配置
↑一个宝藏公众号,长的好看的人都关注了 简单介绍一下Python吧Python是一种面向对象程序设计语言,由荷兰人吉多·范罗苏姆于1989年底发明。目前是最常用也是最热门的一门编程语言之一,应用非常广泛。(不是这个面对对象)为什么选择python呢?有人说python是万能的,除了生孩子不会,什么都会。有人说python是未来
Aidan075 Aidan075
4年前
如何用python进行数据分析——00环境配置
↑一个宝藏公众号,长的好看的人都关注了 简单介绍一下Python吧Python是一种面向对象程序设计语言,由荷兰人吉多·范罗苏姆于19
Stella981 Stella981
4年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Easter79 Easter79
4年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Wesley13 Wesley13
4年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Python进阶者 Python进阶者
2年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这