Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
CuterCorley CuterCorley
4年前
Python开发 常见异常和解决办法
1.sqlalchemy创建外键关系报错propertyofthatnameexistsonmapperSQLAlchemy是Python编程语言下的一款开源软件,提供了SQL工具包及对象关系映射(ORM)工具,使得在Python中操作MySQL更加简单。在给两个表创建外键关系时可能会报错:bashsqlalchemy.exc.Arg
Peter20 Peter20
4年前
MySQL基础(非常全)
MySQL基础一、MySQL概述1、什么是数据库?答:数据的仓库,如:在ATM的示例中我们创建了一个db目录,称其为数据库2、什么是MySQL、Oracle、SQLite、Access、MSSQLServer等?答:他们均是一个软件,都有两个主要的功能:a.将数据保存到文件或内存b.接收特定的命令,然后对文件进行相应
Wesley13 Wesley13
3年前
MySQL触发器,视图
MySQL触发器,视图一.触发器1.普义2.定义3.解释4.结构5.简单示例二.MySQL视图:由select语句创建只能用于select1.定义2.优缺点:3.作用4.示例一.触发器1.普义在用来某
Stella981 Stella981
3年前
Mybatis Plus 更新时间 creatDate字段报错 Could not set property 'creatDate'
背景   MySQL数据库,表中字段名为creatDate,类型为datetime。Java实体类中对应的变量是java.time.LocalDateTime类型的creatDate。当使用新增和更新的方法时,创建日期时间和最后更新时间自动更新。实体类_/\\__\创建日期__\/_@JsonF
Wesley13 Wesley13
3年前
CAT安装使用
cat安装使用需要准备的文件及内容分别为:1.OSLinuxorWiondow2.数据库mysql3.应用服务器tomcat端口号配置为:99964.准备操作系统配有占用的端口22801.创建目录前提:需要创建/data/appdatas/cat、/data/applog
Wesley13 Wesley13
3年前
Mysql之常用sql总结
下面是我总结的Mysql中常用的一些SQL,一般分为下面三种:DDL:DataDefinitionLanguage,数据定义语言,这些语句操作的是数据库对象,比如:定义了数据库、表、列、索引等。常用的关键字包括:create、drop、alter等。DML:DataManipulationLanguage,数据操作语句,用于添加、更新、删除、
Stella981 Stella981
3年前
ClickHouse MergeTree引擎的简单介绍
1.介绍Clickhouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列(MergeTree)中的其他引擎。MergeTree允许依据主键和日期创建索引,并进行实时的数据更新操作。MergeTree是ClickHouse里最为先进的表引擎。请注意不要将MergeTree跟Merge引擎混淆!!!Mer
Stella981 Stella981
3年前
Hadoop Hive基础sql语法
1.DDL操作1.建表2.3.创建简单表4.创建外部表5.建分区表6.建Bucket表7.创建表并创建索引字段ds8.复制一个空表9.显示所有表10.按正条件正则表达式显示表11.修改表结构12.表添加一列13.添加一列并增加列字段注释14.更改表名15.删除列16.增加删除分区17.重命名表18.修改列的名字类型位置注
线上SQL超时场景分析-MySQL超时之间隙锁 | 京东物流技术团队
前言之前遇到过一个由MySQL间隙锁引发线上sql执行超时的场景,记录一下。背景说明分布式事务消息表:业务上使用消息表的方式,依赖本地事务,实现了一套分布式事务方案消息表名:mqmessages数据量:3000多万索引:createtime和statuss