用Kettle从excel中将导入oracle数据库的简单方法

惰性星轨
• 阅读 7482

前言:
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。本次介绍的是其中的一款产品“Spoon”,Spoon允许你通过图形界面来设计数据转换过程。

Kattle- Spoon下载地址(绿色硬盘版解压即用):

https://pan.baidu.com/s/1hrIxGd2

JDK1.8版本下载地址(注:Kattle仅支持1.8以上JDK):

https://pan.baidu.com/s/1kUIr6cv

WINDOWS环境变量配置:

http://jingyan.baidu.com/arti...

为什么我们要使用Kettle?
我们在日常工作中,经常会遇到一种场景,那就是需要将一些数据批量的Insert到数据库表中,这篇文档就是基于这个操作来写的,我们不用Kettle的话,面对这种批量插入的操作,有这么几种方法:

  • 批量编写insert语句

  • 直接for update,从excel里面复制粘贴到plsql中

第二种方法大家肯定常用的,但是这种操作,少量的数据(2000条以内)效率还可以,一旦成千上万,甚至10w+级别的数据,指望for update有很好的表现,基本上是不可能的,基本上都会等个30分钟以上,如果DB赶上忙时,这个操作时间就更慢了。并且for update的操作,从Oracle的角度讲,相当于打开了一个事务,长时间的不关闭保持对表操作,很容易因为长事务引起锁表,我们今天介绍的Kettle,能达到什么效果呢?那就是一次性对一张表导入10w条数据,只需要短短的25s,学会灵活使用Kettle,就能让你的效率得到不一样的提升。

使用方法:

  • 打开Kattle文件夹下Spoon.bat
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击文件-新建-转换,新建一个转换作业
    用Kettle从excel中将导入oracle数据库的简单方法

  • 页面左侧选择输入源(如EXCEL输入),用鼠标点击拖动到右侧转换区
    用Kettle从excel中将导入oracle数据库的简单方法

  • 页面左侧选择输出源(如表输处),用鼠标点击拖动到右侧转换区
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击‘表输出’图标,选择输入方向,将两个图标连接起来
    用Kettle从excel中将导入oracle数据库的简单方法

用Kettle从excel中将导入oracle数据库的简单方法

  • 双击‘EXCEL输入’,配置EXCEL输入方式
    用Kettle从excel中将导入oracle数据库的简单方法

  • 在表格类型处选择EXCEL格式
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击【浏览】选择EXCEL文件
    用Kettle从excel中将导入oracle数据库的简单方法

  • 选择好文件后,点击【增加】,该文件即出现在选中的文件中
    用Kettle从excel中将导入oracle数据库的简单方法

  • 切换到‘工作表’页面,点击【获取工作表名称】,选择数据所在SHEET页
    用Kettle从excel中将导入oracle数据库的简单方法

  • 切换到‘字段’页面,点击【获取来自头部数据的字段】,即可获取SHEET页中第一行的字段名
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击【确定】结束EXCEL配置

  • 双击【表输出】进入数据库表配置页面
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击【新建】进入数据库链接配置页面
    用Kettle从excel中将导入oracle数据库的简单方法

  • 在配置页面依次输入
    连接名称:任意填写
    主机名称:数据库IP
    数据库名称:ORA配置文件中的‘SID’
    端口号:数据库端口号
    用户名:数据库登录名
    密码:数据库登录密码
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击【测试】,查看数据库是否能正常连接,然后点击【确定】,完成数据库配置
    用Kettle从excel中将导入oracle数据库的简单方法

  • 在‘目标表’处输入需要导入数据的数据库表名称,并勾选‘指定数据库字段’
    用Kettle从excel中将导入oracle数据库的简单方法

  • 切换到‘数据库字段’页面,点击【获取字段】,即可获取导入表的字段
    用Kettle从excel中将导入oracle数据库的简单方法

  • 调整表字段(数据库表)和流字段(EXCEL字段)的对应关系,然后单击【确定】,结束配置
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击页面上箭头或者按键盘上F9键,开始导入工作配置
    用Kettle从excel中将导入oracle数据库的简单方法

  • 点击【启动】,正式开始导入
    用Kettle从excel中将导入oracle数据库的简单方法

  • 在‘执行结果’处可以看到数据导入情况,如果提示错误,可以在‘日志’页面查看错误原因
    用Kettle从excel中将导入oracle数据库的简单方法

  • 导入成功后如图
    用Kettle从excel中将导入oracle数据库的简单方法

- 10个字段的表,建议一次性导入数据在10W左右,如果一次导入数据过多,会导致软件缓存不足,导入失败

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
oracle调用java代码
  内容主要包括:java开发,打包java程序成jar文件,上传jar文件到Oracle所在系统,Oracle导入jar文件中java类到数据库中,Oracle根据导入java类创建函数,Oracle操作函数。  用到的软件:Oracle数据库,Oracle数据库安装在Linux操作系统上;java用IDEA开发;上传jar文件用winSCP;操作Or
Stella981 Stella981
3年前
Kettle下实现Excel数据导入至数据库
Kettle下实现Excel数据导入至数据库https://www.lanhusoft.com/Article/723.html(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.lanhusoft.com%2FArticle%2F723.html)本文分享CSD
Stella981 Stella981
3年前
Android兼容性测试工具Spoon
Spoonandroid分布式测试工具。简介android众多的版本和机型给androidapp测试工作带来不小的挑战。Spoon通过将case分布式地执行、将执行结果更友好地展示出来,从而简化androidapp的测试工作。Spoon没有开发新的测试框架,而是让已经存在的测试框架更有效。现在的测试框架,一般都是通过测试
Stella981 Stella981
3年前
Managing kettle job configuration
OvertimeI'vegrownahabitofmakingaconfigurationfileformykettlejobs.Thisisespeciallyusefulifyouhaveareusablejob,wherethesameworkhastobedonebutagainst
Stella981 Stella981
3年前
Kettle 7启动 Spoon.bat 时报错“A Java Exception has occurred.”的解决方法
Kettle7启动Spoon.bat时报错“AJavaExceptionhasoccurred.”的解决方法参考文章:(1)Kettle7启动Spoon.bat时报错“AJavaExceptionhasoccurred.”的解决方法(https://www.oschina.net/action/GoToLink
Stella981 Stella981
3年前
Kettle 使用Impala遇到plugin id [IMPALASIMBA] couldn't be found!
这个该死的问题查了我整整3天,差点就放弃了。kettle用的人不多,文档也不太全,源码又重又大。需求是从Impala用SQL读取数据,写入MYSQL。环境是:pdice7.0.0.025 Linux:CentOS7 连接的是ClouderaImpala,使用第三方JDBCjar包:ImpalaJDBC4.jar 在Windo
Stella981 Stella981
3年前
Kettle构建Hadoop ETL实践(一):ETL与Kettle
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/c89e158d10cd4b32aa814d82441219a9.jpg)!(https://oscimg.oschina.net/oscnet/5e8f53277a9c4e51
Stella981 Stella981
3年前
Kettle构建Hadoop ETL实践(二):安装与配置
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/bab3ab8729664e4292cd3d91cf2b98fb.jpg)!(https://oscimg.oschina.net/oscnet/1c9db90b4b05450e
秋桐 秋桐
2年前
通过Java程序将Excel转换为PDF文档格式
Excel广泛应用于商业、教育等众多领域,具有丰富的数据处理和分析功能,包括计算、图表、排序、筛选、数据透视表等。在处理大型数据内容时,Excel绝对是最佳工具。但如果要将处理好的数据内容进行保存和传输的话,转换为PDF文档格式或许更加可靠。PDF文档的稳定布局可以避免数据内容被随意更改,即使是在多次传输后也能保证数据的准确性。将Excel转换为PDF的工具有很多。这里我将介绍如何通过编程的方法来实现该功能。以Java代码为例,使用到的产品是FreeSpire.XLSforJava(免费版)。下面是程序环境和示例代码。
铁扇公主 铁扇公主
2年前
音频标签编辑 Mp3tag for Mac
Mp3tag是一款音频文件标签编辑工具。它可以让您快速高效地编辑和管理音频文件的元数据,包括歌曲标题、艺术家、专集编辑、年份、流派、封面等。在Mac上,Mp3tag可以通过Wine软件来运行。Wine是一种允许Windows程序在Mac和Linux等操作系
绣鸾 绣鸾
1年前
Mp3tag for Mac(音频标签编辑器)
是一款音频文件标签编辑工具。它可以让您快速高效地编辑和管理音频文件的元数据,包括歌曲标题、艺术家、专集编辑、年份、流派、封面等。在Mac上,Mp3tag可以通过Wine软件来运行。Wine是一种允许Windows程序在Mac和Linux等操作系统上运行的包