Apache SeaTunnel 及Web端安装常见问题及解决方法

位流苔原
• 阅读 161

本文是作者在安装Apache SeaTunnel过程中,新手可能会遇到的一些棘手问题总结,希望给到大家帮助和参考!

Apache SeaTunnel 及Web端安装常见问题及解决方法

常见错误问题

java.lang.NoClassDefFoundError:com/sun/jersey/client/impl/CopyOnWriteHashMap

主要原因是,Hadoop相关的Jar包找不到,需要将Jar包放到lib下。

atunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar到SeaTnnel的lib包下即可。

下载方法见文章后面的详细介绍:

SqlServer-cdc的Jar包安全问题

使用高版本的mssql的JDBC的Jar包时,有安全检查机制,会导致进行使用SeaTunnel的sqlserver-cdc时报异常:

Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

我使用的是mssql-jdbc-11.2.3.jre8.jar,结果一直报异常,添加了trustServerCertificate=true;encrypt=true参数也会报错(只针对seatunnel的SqlServer-cdc场景,在jdbc场景使用此jar包正常)。

经过查看源码与issue,发现源码中是低版本mssql-jdbc-9.4.1.jre8.jar,替换此Jar包后SqlServer-cdcSqlServer2016上能够实现CDC功能。

有的同学使用的是mssql-jdbc-9.2.0.jre8.jar,也可以实现SqlServer-cdc功能。

Jar包下载地址https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-...

SqlServer 2016无法开启表的CDC

安装进行开启SqlServer 2016的CDC功能时,遇到问题是: 以开启SqlServer的库的CDC,但是在开启表的CDC时,一直无法执行成功。

可能得原因是,计算机的名称发生了变化,需要将计算机的名称还原到安装SqlServer 2016的时候的名称。

参考材料:sql - 在表级别启用CDC时出错 - Thinbug: https://www.thinbug.com/q/23969742

mvn加速下载相关Jar包

安装SeaTunnel过程中,解压文件后官方默认提供的Connector的Jar包只有2个,要想连接MySQL、Oracle、SqlServer、Hive、Kafka、Clickhouse、Doris等时,还需下载对应的Jar包。

Apache SeaTunnel 及Web端安装常见问题及解决方法

解决办法:

如果机器可以连接外网,可使用命令方式sh bin/install-plugin.sh直接下载,这个命令会 自动下载文件apache-seatunnel-2.3.3/connectors/plugin-mapping.properties中指定的所有Connector的Jar包,每个人可根据自己情况自行增减需要的connector依赖包。

Apache SeaTunnel 及Web端安装常见问题及解决方法

加速下载Connector相关Jar包

SeaTunnel下载Connector的Jar包时,从https://repo.maven.apache.org 下载,速度及其缓慢,且公司机器不能上外网,改用自己Windows本地的mvn,从阿里云mvn源下载情况会得到大大的改善。
 
解决办法:

修改其安装插件相关脚本,复制bin目录下install-plugin.sh重命名为install-plugin-mvn.sh

Apache SeaTunnel 及Web端安装常见问题及解决方法

替换脚本中的${SEATUNNEL_HOME}/mvnw为mvn,即可使用本地mvn,配合阿里云的mvn源,可加速下载。

Apache SeaTunnel 及Web端安装常见问题及解决方法

然后执行install-plugin-mvn.sh即可,我们可以看到原本2个小时没有下载完成的,改写后几分钟下载完成了。

Apache SeaTunnel 及Web端安装常见问题及解决方法

将下载后的Jar包复制到connectors/seatunnel/下即完成connector的Jar包补充。

注意:在安装SeaTunnel的时候可能会出现java.lang.NoClassDefFoundError错误,大部分时候是因为缺少Apache Hadoop的Jar包,在执行install-plugin-mvn.sh的时候会下载一个jar包seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar,存放于上一级目录的lib文件夹下。

如果是在其他路径下载jar包,将下载的seatunnel-hadoop3-3.1.4-uber-2.3.3-optional.jar放在SeaTunnel的lib文件夹下,就可以解决这个问题了。

Apache SeaTunnel 及Web端安装常见问题及解决方法

Datasource相关Jar包

安装好seatunnel-web1.0.0后,新建数据源时,无下拉框和数据源选项,

Apache SeaTunnel 及Web端安装常见问题及解决方法

 查找资料中官方大佬给出的解决方式如下:

[Improve] Add "download_datasource.sh" for downloading datasource. by FlechazoW · Pull Request #136 · apache/seatunnel-web · GitHub

跳转链接:https://github.com/apache/seatunnel-web/pull/136

注意,这里的解决方式需要下载最新的seatunnel-web源代码,执行download_datasource.sh下载数据源jar包

Apache SeaTunnel 及Web端安装常见问题及解决方法

查看源代码,也是使用mvnw的方式下载,windows上进行修改

download\_datasource.sh复制到 D:\\jar\\seatunnel\\script后改名为download\_datasource-mvn.sh,替换"$SEATUNNEL\_WEB\_HOME"/mvnw为本地环境变量中配置好的mvn即可。

Apache SeaTunnel 及Web端安装常见问题及解决方法

执行sh download_datasource-mvn.sh命令就会将Jar包下载到相应为文件夹中

Apache SeaTunnel 及Web端安装常见问题及解决方法

下载完成后,将相应的Jar包放置到apache-seatunnel-web的libs下,重启之后,显示正常。

Apache SeaTunnel 及Web端安装常见问题及解决方法

注意事项

1.元数据和数据源的jar包还需要要复制到后端lib文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3/lib

否则在配置好web任务时,后台根本不执行!!!

2.有的同学各种准备工作都做好了,还是不显示数据源,这个时候把后端的connectorsplugins相关jar包放到web下的lib下再试试。

相关问题

配置阿里云mvn源加速

如何配置的阿里云mvn源https://blog.csdn.net/zhang19903848257/article/details/107923791

如何在windows环境下执行shell命令

因为所有linux机器不能外网,先在windows下执行shell脚本,下载jar包,然后复制到相关机器即可。

如何在windows下执行shell命令,可参考下面的文章。

Windows中运行Linux命令的6种方法https://www.eet-china.com/mp/a228539.html

感谢大家的浏览,希望对接大家有所帮助!

本文由 白鲸开源科技 提供发布支持!
点赞
收藏
评论区
推荐文章
Irene181 Irene181
4年前
干货|Sqlite数据库知识必知必会(上篇)
大家好,我是IT共享者,人称皮皮。前面几天给大家分享了MySQL数据库知识,没来得及看的小伙伴可以前往:,,关于数据库的安装可以参考:,今天皮皮继续给大家分享数据库知识,但是换了一个主角,它就是Sqlite。前言前面我们学习了很多数据库,虽然它们功能非常丰富,但是占用空间比较大,使得我们的系统负荷变大,这对于我们新手小白来说不是一个理想的选择,于是乎
梦
5年前
微信小程序new Date()转换时间异常问题
微信小程序苹果手机页面上显示时间异常,安卓机正常问题image(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/b691e1230e2f15efbd81fe11ef734d4f.png)错误代码vardate'2021030617:00:00'vardateT
Wesley13 Wesley13
4年前
MySQL, Apache, PHP 安装教程
下面的安装教程包括基本安装,以及本人在安装过程中遇到的问题及解决方法(注:本教程在Windows64位系统下安装的)MySQL安装1.下载MySQLhttp://rj.baidu.com/soft/detail/12585.html?ald(https://www.oschina.net/action/GoToLi
Stella981 Stella981
4年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Stella981 Stella981
4年前
Composer安装及更新YII2框架遇到问题梳理
我们在使用YII2框架的过程中,对于框架有两种安装方式,一种是使用官网归档文件,一种是使用Compoer包管理工具。本文讨论的问题集中在使用Compoer安装YII2框架及更新组件包,升级YII2主版本时遇到的一些问题。!(https://oscimg.oschina.net/oscnet/713176553dca8a7252a69992ab54e6
Stella981 Stella981
4年前
ClickHouse性能提升
本文经作者授权,独家转载:作者主页:https://www.jianshu.com/u/8f36a5e63d181\.不要用select\反例:select  from app.user_model正例:select login_id,name,sex from app.user_mo
Easter79 Easter79
4年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
4年前
CorelDRAW中的几个常见问题汇总
   本文为大家搜集整理一些CorelDRAW经常遇到的问题和相关解决方法,希望这些CDR教程(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.coreldrawchina.com%2F)能够对您有所帮助。  一、安装文字  步骤:“打开控制面板—外观和个性化—字
咕咕鸡 咕咕鸡
3年前
记一次线上FGC问题排查
本文记录一次线上GC问题的排查过程与思路,希望对各位读者有所帮助。过程中也走了一些弯路,现在有时间沉淀下来思考并总结出来分享给大家,希望对大家今后排查线上GC问题有帮助。
万字长文,聊聊我在锦礼成长的这一年
”学而不思则罔,思而不学则殆“,本文记录了作者在锦礼侧工作1年间遇到的思考与成长、挑战与困难,也是对过去工作的总结与反思,分享出来,希望对大家有所帮助。本文约10000字如果觉得页面很长那是因为截图和留言很多,哈哈00引言光阴似箭,来到锦礼产品线已满一年了