Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Wesley13 Wesley13
3年前
jacob调用自己写dll,入门坑集合
1.使用VisualStudio2019创建项目C类库(.netStandard)。usingSystem;namespacetestDll{publicclassTest{publicstringMyTest(){
Wesley13 Wesley13
3年前
mybatis整合redies,使用redis作为二级缓存
方法一(一)、RedisCache(mybatis二级缓存实现类)/Createdbyhhjianon17627./publicclassRedisCacheimplementsCache{
Stella981 Stella981
3年前
Python技巧之使用内置函数issubclass()获取类继承关系
你可以通过内置函数“issubclass()”检查类的继承关系:Youcancheckforclassinheritancerelationshipswiththe"issubclass()"builtin:classBaseClass:pass
Wesley13 Wesley13
3年前
UTF
  最近工作中需要将一些数据写入CSV文件中,并要使用Excel打开进行查看。测试时发现,导出的CSV文件用Excel打开后,中文字符全部是乱码。写入CSV文件的是UTF8编码的数据,文件在Linux中查看是没有问题的,在Windows上用Excel打开却有乱码。在查阅资料后发现,windows系统中文本文档的编码格式用BOM来指定,在文件的开头要写入字符
Wesley13 Wesley13
3年前
MySQL数据库基础——本地文件交互
从这一篇开始,大概会花四五篇的内容篇幅,归纳整理一下之前学过的SQL数据库,一来可以为接下来数据分析工作提前巩固基础,二来把以前学的SQL内容系统化、结构化。今天这一篇仅涉及MySQL与本地文本文件的导入导出操作,暂不涉及主要查询语言以及MySQL与R语言和Python的交互。平台使用NavicatPremium(当然你也可以使用MySQL自带的w
Stella981 Stella981
3年前
Kafka之Producer生产者分区
  kafkaclient的版本:0.10   有个很重要的类Partitioner  _List1_publicinterfacePartitionerextendsConfigurable{/Computethepartitionforthegi
Wesley13 Wesley13
3年前
MySQL视图
什么是视图?一张虚表,和真实的表一样。视图包含一系列带有名称的行和列数据。视图是从一个或多个表中导出来的,我们可以通过insert,update,delete来操作视图。当通过视图看到的数据被修改时,相应的原表的数据也会变化。同时原表发生变化,则这种变化也可以自动反映到视图中。视图具有以下优点:简单化:看到的就是需要的
WeiSha100 WeiSha100
3年前
开源线上考试刷题学习软件
线上考试,刷题,学习软件,有前后台源码,开发文档,源码可二次开发。私有化部署,可局域网部署,内部使用,支持多个终端,功能有点播,直播,考试等,经搭建测试源码完整可用。1、点播:在线点播视频,可上传图文资料,习题,课件等,视频防盗等2、刷题:可批量管理上传的题库,随时随地刷题,试题防复制3、考试中心:多场景考试设置,高并发、强制交卷、考试防作弊、成绩导出、智能
WeiSha100 WeiSha100
3年前
开源售课学习平台软件
线上售课学习软件,有前后台源码,开发文档,源码可二次开发。私有化部署,内网外网均可部署,支持多个终端,功能有点播,题库,直播,考试,督学,营销等,经搭建测试软件源码完整可用。1、点播:在线点播视频,可上传图文资料,习题,课件等,视频防盗等2、题库:可批量管理上传的题库,随时随地刷题,试题防复制3、考试:多场景考试设置,高并发、强制交卷、考试防作弊、成绩导出、