lix_uan的头像 ID: 19200201197

lix_uan

HelloWorld 社区成员

lix_uan

文章7
个人网站0
加入社区2021

Hive调优

Explain查看执行计划在查询语句前加explainsqlexplainselectfromtable;查看详细执行计划explainextendedselectfromtable;建表优化分区表sql创建分区表createtabledeptpartition(deptnoint,dnamest

Hadoop调优

HDFS核心参数NameNode,DataNode内存配置查看NameNode,DataNode占用内存shelljpsjmapheap2611jmapheap2744经验shellNameNode最小值1G,每增加100w个block,增加1G内存DataNode最小值4G,副本总数超过400w时,每增加1

Hadoop学习总结

HDFS相关HDFS写数据的流程首先由客户端向NameNode服务发起写数据请求NameNode收到请求后会进行基本验证验证类容包括对请求上传的路径进行合法验证对请求的用户进行权限验证验证没有问题后,NameNode会响应客户端允许上传接下来客户端会对文件按照blocksize大小进行切块,切完后依次以块为单位上传此时客户端会请求上传

Java学习总结

JavaHashMap和HashTablejdk1.8中采用数组链表红黑树实现首先会创建一个默认长度为16,默认加载因为0.75的table数组根据hash值和数组的长度计算应存入的位置判断当前位置是否为空,如果为空则直接存入如果当前位置不为空,则调用equals方法比较属性值如果一样则替换为新的,如果不一样则采用头插法插入当节点数多于8

MySQL学习总结

数据库的三大范式第一范式:每个列都不可以再拆分第二范式:在第一范式的基础上,非主键列完全依赖于主键第三范式:在第二范式上,非主键列只依赖主键,不依赖其他非主键事务的并发问题脏读:事务A读取了事务B更新的数据,然后数据B回滚,那么A读到的是脏数据不可重复读:事务A多次读取同一数据,事务B在事务A读取的过程中对数据进行了修改并提交,导致A多次读的数据

Zookeeper学习总结

IDEA环境pom.xmlxmlorg.apache.logging.log4jlog4jcore2.8.2org.apache.zookeeperzookeeper3.5.7log4j.propertiespropertieslog4j.rootLoggerINFO,stdoutlog4j.appender.std