Hbase的安装和基本使用

Stella981
• 阅读 485

Hbase介绍

HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。

Hbase安装

安装环境

三台虚拟机：master、slave1、slave2， 已经安装好Hadoop环境和zookeeper

下载Hbase安装包，根据你自己的需求下载对应的安装包

wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop2-bin.tar.gz

也可以直接去镜像网站下载，地址：http://archive.apache.org/dist/ 下载好后，解压安装包

tar -zxvf hbase-0.98.24-hadoop2-bin.tar.gz

添加Hbase的环境变量

//打开~/.bashrc文件
vim ~/.bashrc
//然后在里边追加两行
export HBASE_HOME=/usr/local/src/hbase-0.98.24-hadoop2
export PATH=$PATH:$HBASE_HOME/bin
//然后保存退出，source一下
source ~/.bashrc

配置Hbase 打开Hbase目录下conf/hbase-env.sh（如果没有新建一个）

vim conf/hbase-env.sh
//添加下边两个配置
export JAVA_HOME=/usr/local/src/jdk1.8.0_171  //java home
export HBASE_MANAGES_ZK=false  //是否使用自带的zookeeper，自己有安装的话就用自己的，没有就用自带的

配置hbase-site.xml文件

vim conf/hbase-site.xml
//添加如下配置
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

修改regionservers文件

vim conf/regionservers
//添加需要安装regionserver的机器节点
slave1
slave2

到这里Hbase简单的环境就搭建好了

Hbase的启动

启动Hbase需要首先启动Hadoop和zookeeper

启动Hadoop

master机器节点

//进入到Hadoop目录的sbin下
./start-all.sh

查看Hadoop是不是启动成功 master机器节点，jps查看进程看到图中进程说明成功启动 Hbase的安装和基本使用 slave机器节点，jps查看 Hbase的安装和基本使用

Zookeeper启动

master和slave节点都执行，进入zookeeper安装目录bin目录下

zkServer.sh start

然后jps查看进程，能看到QuorumPeerMain说明Zookeeper启动成功 Hbase的安装和基本使用 Hbase的安装和基本使用 ####启动Hbase 在Hadoop和Zookeeper都启动之后就可以启动Hbase了，进入Hbase的安装目录的bin目录下

./start-hbase.sh

jps查看进程，在master能看到Hmaster进程，在slave节点能看到HRegionServer进程，说明Hbase启动成功 Hbase的安装和基本使用 Hbase的安装和基本使用 也可以通过网址来检查，http://master:60010/master-status

Hbase简单的shell命令操作

进入shell命令模式，在bin目录下执行

./hbase shell
hbase(main):001:0>

  • 查看当前所有表

    hbase(main):003:0> list TABLE
    0 row(s) in 0.1510 seconds

    => []

  • 创建表

    hbase(main):006:0> create 'test_table' , 'mate_data', 'action' 0 row(s) in 2.4390 seconds

    => Hbase::Table - test_table

  • 查看表详情

    hbase(main):009:0> desc 'test_table' Table test_table is ENABLED
    test_table
    COLUMN FAMILIES DESCRIPTION
    {NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
    {NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK _ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536 ', REPLICATION_SCOPE => '0'}
    2 row(s) in 0.0520 seconds

  • 增加列簇

    hbase(main):010:0> alter 'test_table', {NAME => 'new', VERSIONS => '2', IN_MEMORY => 'true'} Updating all regions with the new schema... 0/1 regions updated. 1/1 regions updated. Done. 0 row(s) in 2.2790 seconds

    hbase(main):011:0> desc 'test_table' Table test_table is ENABLED
    test_table
    COLUMN FAMILIES DESCRIPTION
    {NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
    {NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK _ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536 ', REPLICATION_SCOPE => '0'}
    {NAME => 'new', BLOOMFILTER => 'ROW', VERSIONS => '2', IN_MEMORY => 'true', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODI NG => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPL ICATION_SCOPE => '0'}
    3 row(s) in 0.0570 seconds

  • 删除列簇

    hbase(main):013:0> alter 'test_table', {NAME => 'new', METHOD => 'delete'} Updating all regions with the new schema... 0/1 regions updated. 1/1 regions updated. Done. 0 row(s) in 2.2390 seconds

    hbase(main):014:0> desc 'test_table' Table test_table is ENABLED
    test_table
    COLUMN FAMILIES DESCRIPTION
    {NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
    {NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK _ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536 ', REPLICATION_SCOPE => '0'}
    2 row(s) in 0.0430 seconds

  • 删除表

    //首先disable hbase(main):016:0> disable 'test_table' 0 row(s) in 1.2980 seconds //然后再删除 hbase(main):017:0> drop 'test_table' 0 row(s) in 0.2020 seconds //查看是否删除 hbase(main):018:0> list TABLE
    0 row(s) in 0.0070 seconds

    => []

  • 往表里写数据并查看

    hbase(main):021:0> put 'test_table', '1001', 'mate_data:name', 'zhangsan' 0 row(s) in 0.1400 seconds

    hbase(main):022:0> put 'test_table', '1002', 'mate_data:name', 'lisi' 0 row(s) in 0.0110 seconds

    hbase(main):023:0> put 'test_table', '1001', 'mate_data:gender', 'woman' 0 row(s) in 0.0170 seconds

    hbase(main):024:0> put 'test_table', '1002', 'mate_data:age', '25' 0 row(s) in 0.0140 seconds

    hbase(main):025:0> scan 'test_table' ROW COLUMN+CELL
    1001 column=mate_data:gender, timestamp=1540034584363, value=woman
    1001 column=mate_data:name, timestamp=1540034497293, value=zhangsan
    1002 column=mate_data:age, timestamp=1540034603800, value=25
    1002 column=mate_data:name, timestamp=1540034519659, value=lisi
    2 row(s) in 0.0410 seconds

  • 读取数据

    hbase(main):026:0> get 'test_table', '1001' COLUMN CELL
    mate_data:gender timestamp=1540034584363, value=woman
    mate_data:name timestamp=1540034497293, value=zhangsan
    2 row(s) in 0.0340 seconds

    hbase(main):027:0> get 'test_table', '1001', 'mate_data:name' COLUMN CELL
    mate_data:name timestamp=1540034497293, value=zhangsan
    1 row(s) in 0.0320 seconds

  • 查看行数

    hbase(main):028:0> count 'test_table' 2 row(s) in 0.0390 seconds

    => 2

  • 清空表数据

    hbase(main):029:0> truncate 'test_table' Truncating 'test_table' table (it may take a while):

    • Disabling table...
    • Truncating table... 0 row(s) in 1.5220 seconds

通过Python脚本来操作Hbase

不能通过Python脚本来直接操作Hbase，必须要借助thrift服务作为中间层，所以需要两个Python模块：hbase模块和thrift模块，和安装thrift来实现Python对Hbase的操作 ####安装thrift并获得thrift模块

然后就能看到thrift模块

获得hbase模块

  • 下载Hbase源码包

    wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-src.tar.gz tar -zxvf hbase-0.98.24-src.tar.gz

  • 产生hbase模块

    //进入该目录 cd /usr/local/src/hbase-0.98.24/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift //执行如下命令，产生gen-py目录 thrift --gen py Hbase.thrift //进入该目录就能得到生成的hbase模块 cd gen-py

使用Python写数据

  • 创建表

    from thrift.transport import TSocket from thrift.protocol import TBinaryProtocol

    from hbase import Hbase from hbase.ttypes import *

    transport = TSocket.TSocket('master', 9090) transport = TTransport.TBufferedTransport(transport)

    protocol = TBinaryProtocol.TBinaryProtocol(transport)

    client = Hbase.Client(protocol)

    transport.open()

    base_info_contents = ColumnDescriptor(name='columnName1', maxVersions=1) other_info_contents = ColumnDescriptor(name='columnName2', maxVersions=1)

    client.createTable('tableName', [base_info_contents,other_info_contents])

  • 插入数据

    from thrift.transport import TSocket from thrift.protocol import TBinaryProtocol

    from hbase import Hbase from hbase.ttypes import *

    transport = TSocket.TSocket('master', 9090) transport = TTransport.TBufferedTransport(transport)

    protocol = TBinaryProtocol.TBinaryProtocol(transport)

    client = Hbase.Client(protocol)

    transport.open()

    table_name = 'tableName' rowKey = 'rowKeyName' mutations = [Mutation(column="columnName:columnPro", value="valueName")] client.mutateRow(table_name,rowKey,mutations,None)

  • 查看数据

    from thrift.transport import TSocket from thrift.protocol import TBinaryProtocol

    from hbase import Hbase from hbase.ttypes import *

    transport = TSocket.TSocket('master', 9090) transport = TTransport.TBufferedTransport(transport)

    protocol = TBinaryProtocol.TBinaryProtocol(transport)

    client = Hbase.Client(protocol)

    transport.open()

    table_name = 'tableName' rowKey = 'rowKeyName'

    result = client.getRow(table_name,rowKey,None)

    for l in result: print "the row is "+ l.row for k,v in l.columns.items(): print '\t'.join([k,v.value]) from thrift.transport import TSocket from thrift.protocol import TBinaryProtocol

    from hbase import Hbase from hbase.ttypes import *

    transport = TSocket.TSocket('master', 9090) transport = TTransport.TBufferedTransport(transport)

    protocol = TBinaryProtocol.TBinaryProtocol(transport)

    client = Hbase.Client(protocol)

    transport.open()

    table_name = 'tableName'

    scan = TScan()

    id = client.scannerOpenWithScan(table_name,scan,None) result = client.scannerGetList(id,10)

    for l in result: print "=========" print "the row is "+ l.row for k,v in l.columns.items(): print '\t'.join([k,v.value])

欢迎关注公众号

Hbase的安装和基本使用

hbasethrifttestmateversionstable前端前端
点赞
收藏
评论区
推荐文章
blmius blmius
•
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时，报错：原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等，这样可以更容易地在不同的环境中使用MySQL。全局s
3552
0
0
Jacquelyn38 Jacquelyn38
•
2年前
2020年前端实用代码段，为你的工作保驾护航
有空的时候，自己总结了几个代码段，在开发中也经常使用，谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
2028
0
0
helloworld_34035044 helloworld_34035044
•
1年前
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时，如何在新增行里自动增加id呢？能新增整数排序id吗？目前可以在新增行里自动增加id，但只能用uuid函数增加UUID编码，不能新增整数排序id。uuid函数说明：获取一个UUID，可以在填报表中用来创建数据ID语法：uuid()或uuid(sep)参数说明：sep布尔值，生成的uuid中是否包含分隔符''，缺省为
806
0
0
Wesley13 Wesley13
•
2年前
Java获得今日零时零分零秒的时间（Date型）
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
965
0
0
Stella981 Stella981
•
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签，将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
1067
0
0
Wesley13 Wesley13
•
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败，请联系管理员！');中国在东8区所以加8方法二：selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
949
0
0
Wesley13 Wesley13
•
2年前
Java日期时间API系列36
　　十二时辰，古代劳动人民把一昼夜划分成十二个时段，每一个时段叫一个时辰。二十四小时和十二时辰对照表：时辰时间24时制子时深夜11：00凌晨01：0023：0001：00丑时上午01：00上午03：0001：0003：00寅时上午03：00上午0
941
0
0
Wesley13 Wesley13
•
2年前
00：Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork)，斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟，已经成为Web应用程序的首选开发语言。Java是简单易学，完全面向对象，安全可靠，与平台无关的编程语言。
937
0
0
Stella981 Stella981
•
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段，id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
879
0
0
Wesley13 Wesley13
•
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
1148
0
0
Python进阶者 Python进阶者
•
4个月前
Excel中这日期老是出来00：00：00，怎么用Pandas把这个去除
大家好，我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下：这日期老是出来00：00：00，怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下：pd.toexcel之前把这
160
0
0
Stella981
Stella981
Lv1
接天莲叶无穷碧，映日荷花别样红。
文章
1.7w
粉丝
37
获赞
28
热门文章
OpenVPN下载、安装、配置及使用详解
GitHub神器，一个可以白嫖全网无损音乐的神器
OpenWrt 路由器过滤广告的N种方法
Python—执行系统命令的四种方法（os.system、os.popen、commands、subprocess）
SS端加密以及obfs混淆