lix_uan
  • 7
    文章
  • 2
    专栏
  • 4930
    访问
  • 3
    粉丝
  • 3
    关注
  • 0
    获赞

lix_uan 等级

学无止境,即刻前行
  • 最新发表
  • 最多访问
  • 最多收藏
  • 最多评论
Hive调优

Explain查看执行计划 在查询语句前加explain sql explain select from table; 查看详细执行计划 explain extended select from table; 建表优化 分区表sql 创建分区表create table deptpartition(deptno int, dname st

lix_uan
671
0
0
Hadoop调优

HDFS核心参数 NameNode,DataNode内存配置 查看NameNode,DataNode占用内存 shell jps jmap heap 2611 jmap heap 2744 经验 shell NameNode最小值1G,每增加100w个block,增加1G内存 DataNode最小值4G,副本总数超过400w时,每增加1

lix_uan
706
0
0
Hadoop学习总结

HDFS相关 HDFS写数据的流程 首先由客户端向NameNode服务发起写数据请求 NameNode收到请求后会进行基本验证 验证类容包括对请求上传的路径进行合法验证 对请求的用户进行权限验证 验证没有问题后,NameNode会响应客户端允许上传 接下来客户端会对文件按照blocksize大小进行切块,切完后依次以块为单位上传 此时客户端会请求上传

lix_uan
711
0
0
Java学习总结

Java HashMap和HashTable jdk1.8中采用数组+链表+红黑树实现 首先会创建一个默认长度为16,默认加载因为0.75的table数组 根据hash值和数组的长度计算应存入的位置 判断当前位置是否为空,如果为空则直接存入 如果当前位置不为空,则调用equals方法比较属性值 如果一样则替换为新的,如果不一样则采用头插法插入 当节点数多于8

lix_uan
766
0
0
MySQL学习总结

数据库的三大范式 第一范式:每个列都不可以再拆分 第二范式:在第一范式的基础上,非主键列完全依赖于主键 第三范式:在第二范式上,非主键列只依赖主键,不依赖其他非主键 事务的并发问题 脏读:事务A读取了事务B更新的数据,然后数据B回滚,那么A读到的是脏数据 不可重复读:事务A多次读取同一数据,事务B在事务A读取的过程中对数据进行了修改并提交,导致A多次读的数据

lix_uan
660
0
0
Zookeeper学习总结

IDEA环境 pom.xmlxml org.apache.logging.log4j log4jcore 2.8.2 org.apache.zookeeper zookeeper 3.5.7 log4j.propertiespropertieslog4j.rootLoggerINFO, stdout log4j.appender.std

lix_uan
669
0
0
基于Hadoop3的HA集群搭建

集群规划| node01 | node02 | node03 || | | || NameNode | NameNode | NameNode || ZKFC | ZKFC | ZKFC || JournalNode

lix_uan
747
0
0