今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

1.1创建mysql用户mysqlcreateusertestidentifiedby'test';1.2为用户授权后面不加identified。grantselectontest.\totest@localhost;1.3查看MYSQL数据库中所有用户selectdistinctconcat('User:

这个时候所有的mysql的相关进程都会停止，直到drop结束，mysql才会恢复执行。出现这个情况的原因就是因为，在droptable的时候，innodb维护了一个全局锁，drop完毕锁就释放了。这意味着，如果在白天，访问量非常大的时候，如果你在不做任何处理措施的情况下，执行了删大表的命令，整个mysql就挂在那了，在删表期间，QPS会严重下滑，然后产

常用SQL创建表1234567CREATETABLEb6logs(eventDateDate,impidUInt64,uidString,idfaString,imeiString)ENGINEMergeTree(eventDate,(impid,event

1查询重复值SELECTFROMHb_StudentsWHEREstudentIdIN(SELECTstudentIdFROMHb_StudentsGROUPBYstudentIdHAVINGcount(studentId)1);2删除重复值创建临时表CREATETEM

mysql查询优化的方法有很多种，explain是工作当中用的比较多的一种检查方式。explain翻译即解释，就是看mysql语句的查询解释计划，从解释计划我们能很清楚的看到解释的语句有没有合理用到索引，扫描了多少行数，有没有触及全表扫描、用到临时表等影响慢查询的原因。使用很简单，如explainselect\fromuse

不知道从什么时候开始，网上流传着这么一个说法：MySQL的WHERE子句中包含ISNULL、ISNOTNULL、!这些条件时便不能使用索引查询，只能使用全表扫描。这种说法愈演愈烈，甚至被很多同学奉为真理。咱啥话也不说，举个例子。假如我们有个表s1，结构如下：!MySQL中ISNULL、!不能用索引？胡扯(https://o

mysql5.6.37用户及权限管理创建用户创建用户方式一：命令:CREATEUSER'username'@'host'IDENTIFIEDBY'password'; 说明:username你将创建的用户名,host指定该用户在哪个主机上可以

详谈MySQL8.0原子DDL原理背景MySQL5.7的字典信息保存在非事务表中，并且存放在不同的文件中（.FRM，.PAR，.OPT，.TRN，.TRG等)。所有DDL操作都不是CrashSafe，而且对于组合DDL（ALTER多个表）会出现有的成功有的失败的情况，而不是总体失败。这样主从复制就出现了问题，也导致基于复制的高可

作者：京东物流京东物流一、前言在做MySQL的SQL优化时，如果只涉及到单表查询，那么大部分慢SQL都只需从索引上入手优化即可，通过添加合适的索引来消除全表扫描或者排序操作，执行效果，大概率能实现质的飞跃。然而，在实际生产中，除了单表查询，更多的是多个表的