[HDFS学习笔记] NN 和 2NN机制
文章目录
问:首先思考元数据HDFS的元数据会存在哪里?
答:内存
问:那如果断电了怎么办?
答: 为了避免断电等问题造成数据丢失,HDFS还会把元数据的镜像文件存放在磁盘,叫做FSImage.但元数据会发生不停的添加/更新操作.不停的IO非常影响效率,因此同时使用EditLog 用来保存HDFS运行开始以来的对元数据的各种操作,因此 FSImage + EditLog 即为此时内存中的元数据一致。
问: 如果EditLog过大了怎么办?
答: 此时需要清理Editlog 同时更新磁盘上的FSImage。于是有了2NN(Secondary NameNode)
具体工作机制如下:
HDFS启动时 通过加载本地的Editlog和FSImage并合并到内存中去
运行过程中Editlog更新不断增大
当1)定时时间到了 2)Editlog满了 就会触发2NN 的Checkpoint机制
- NN 首先滚动正在写的Editlog1,即 停止继续写入原来的Editlog1 而是把新来的操作写入新建的Editlog2,把Editlog1和FSImage拷贝到2N
- 在2NN加载Editlog1和FSImage到内存并合并,生成新的FSImage.ckpt
- 把新的FSImage.ckpt拷贝回NN,并重命名为FSImage
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论