【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

文优
• 阅读 884

分布式存储环境:

Dell PowerEdge机架式服务器;
数据库类型:Hbase、Hive;
16台物理服务器。

故障:

16台服务器节点,在每台物理服务器上平均有3台虚拟机,在虚拟机上配置分布式,上层部署的hbase数据库和hive数据库。数据库底层文件被误删除,导致数据库不可用。管理员联系北亚数据恢复中心恢复hbase和hive数据库的数据。

分布式存储数据恢复过程:

经过现场对环境的简单检测,北亚数据恢复工程师发现虚拟机还可以正常启动,但是虚拟机上部署的数据库块文件丢失。块文件丢失之后整个集群环境没有新的数据写入,底层数据损坏可能性比较小,具有较大的可恢复性。由于还没有对底层结构进行分析,再加上hbase和hive的算法和底层结构十分复杂,恢复概率无法准确判断。

1、备份:
A、将存储设备断电、关机,对物理服务器底层做备份。
B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。
C、北亚数据恢复工程师准备了一台数据恢复服务器,在这台数据恢复服务器上以只读方式挂载原服务器的硬盘,使用北亚磁盘备份工具进行完整的扇区对扇区的备份。
D、备份完成后,由北亚数据恢复工程师提供详细报告,然后将原服务器硬盘交还给管理员。
【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

2、块文件结构分析:
A、对每个虚拟机磁盘的块文件进行分析;
B、分析文件底层的聚合方式;
C、分析每个磁盘中数据的分布情况。

3、Block文件key分析:
A、定位数据库文件中的key信息;
B、提取并解析数据库文件中key信息;
C、整合数据库文件key信息。

4、Block文件拼接:
A、根据Block文件的key信息提取文件片段;
B、对Block文件的片段进行拼接;
C、校验拼接后的Block文件的正确性。

5、Block文件导入:
A、校验提取出的Block文件完整性及正确性;
B、把提取出来的Block文件导入到hbase和hive数据库中。

6、数据验证:
A、由管理员对恢复出来的数据进行详细验证;
B、如发现新问题,则复盘数据恢复过程查找问题原因并加以解决。

北亚数据恢复服务:
1、整个过程不会对原盘有任何的写操作,以确保原盘的数据安全;
2、尽最大可能保证服务的操作可逆,确保人力可控范围内操作可回溯;
3、提供后期数据保管和服务跟踪;
4、以上所有操作在有备份的情况下进行,若不成功不影响其他数据恢复方案的进行。

本次数据恢复周期:
【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

点赞
收藏
评论区
推荐文章
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
Stella981 Stella981
4年前
Hive 数据导入HBase的2种方法详解
最近经常被问到这个问题,所以简单写一下总结。Hive数据导入到HBase基本有2个方案:  1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新  2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBase1、Hive外部表创
Stella981 Stella981
4年前
PinPoint安装部署
1.前期准备1.1准备三台服务器,分别用来安装pinpoint和pinpointagent和hbase、zookeeper我安装它用到的3台服务器,一台主要部署pinpoint的主程序,一台主要部署pinpointagent1.jdk8Java运行环境2.hbase1.2数据库,用来存储监控信息
Easter79 Easter79
4年前
Sqoop的安装和配置以及Sqoop的基本操作
一、概述Sqoop是apache旗下一款“Hadoop和关系型数据库服务器之间传送数据”的工具。导入数据:把MySQL,Oracle数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的文件系统中导出数据到关系数据库mysql等!(http
Stella981 Stella981
4年前
Hive学习之路 (三)Hive元数据信息对应MySQL数据库表
概述Hive的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表!(https://oscimg.oschina.net/oscnet/622274765e1205e906542f39ccb50db93
Stella981 Stella981
4年前
HIVE的常用操作(HQL)语句
HIVE基本操作命令创建数据库\createdatabasedb\_name;\createdatabaseifnotexistsdb\_name;//创建一个不存在的数据库final查看数据库\showdatabases;选择性查看数据库\showdatabaseslike'f.\'
Stella981 Stella981
4年前
HBase 架构和 Java Api
HBase架构HBase是Hadoop的数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图!(https://static.oschina.net/uploads/space/2016/1124/172034_9o3y
Stella981 Stella981
4年前
HBase & MongoDB
1.Mongodbbson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb主键是“\_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是rowkey,可以是任意字符串(最大长度是64KB,实际应用中长度一般为1010
Stella981 Stella981
4年前
HBase和MySQL存储方式的差别?或者说是,行存储和列存储的区别?
HBase借鉴列存储的思想,但是最底层依然是依靠键值对来存储数据,HBase为非关系型数据库而MySQL则是行存储,MySQL为关系型数据库!(https://oscimg.oschina.net/oscnet/up8e3871eb35254668547a96b7d98726890e3.png)写过程
HBase深度历险 | 京东物流技术团队
简介HBase的全称是HadoopDatabase,是一个分布式的,可扩展,面向列簇的数据库,是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。本文会像剥洋葱一样,层层剥开她的心,直到一丝不挂。特点首先我们看一下hbase有哪些特