HBase 分类

设计原则

设置预分区

HBase默认新建的表中只有一个HRegion，而且这个HRegion是没有边界的，也就是没有[startRowKey, endRowKey)的存在，所有的读写都集中在这个HRegion上。
当HRegion大小超过预定的阈值时，HRegion会进行分裂（Split）。
所以读写热点问题和分裂时的I/O问题都会影响HBase的性能。
因此，可以在建表时创建多个空的HRegion，并确定每个HRegion的起点和终点。只要RowKey设计合理，就能让数据均匀地分布在HRegion之中，解决上面的两个问题。
这种预先创建空HRegion的方式，就叫预分区。

添码座原创大约 5 分钟

列族设置

如果需要定时从HBase中删除过期数据，可以通过设置列族的TTL（过期失效时间，单位为秒）实现。下面的操作给表user的列族info设置了TTL，超过这一时间后，数据将会在HFile大合并时被自动删除。

hbase:001:0> create 'user1', {NAME => 'info', TTL => '3600'}
hbase:001:0> desc 'user1'
Table user1 is ENABLED
user
COLUMN FAMILIES DESCRIPTION
{NAME => 'info', ..., TTL => '600 SECONDS (10 MINUTES)', ...}
1 row(s)
Quota is disabled
Took 0.0381 seconds

添码座原创大约 9 分钟

HBase底层技术机制

HBase整体架构

HRegion

每个HRegionServer包含一个HLog和多个HRegion。
HLog负责日志记录，针对HRegionServer的所有写操作（例如put、delete等）都会先记录到这个日志中，然后再把数据写到对应的HRegion。
HRegion负责数据的存储，它的表面意思是区域，HBase表中的数据会按照行被横向划分为多个Region。
每个HRegion按照存储的最小RowKey和最大RowKey指定，也就是个HRegion包含的区间为[startRowKey, endRowKey)，RowKey是按升序排列的。
每一个列族在HBase中都是一个单独的文件，对应一个Store，每个HRegion中都可能会有多个Store。

添码座原创大约 5 分钟

HBase API

就像操作MySQL数据库基本上都是通过编程语言实现的那样，操作HBase中的数据也需要通过API来完成。

Java API

先引入依赖。

<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>2.4.18</version>
</dependency>
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-mapreduce</artifactId>
    <version>2.4.18</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.2.0</version>
    <scope>provided</scope>
</dependency>

添码座原创大约 5 分钟

基础命令和SQL操作

HBase中的命令分为两类。

基础命令。
SQL命令。

其中SQL命令又分为DDL命令和DML命令。

基础命令

status可以查看集群当前的状态。

hbase:001:0> status
1 active master, 0 backup masters, 1 servers, 0 dead, 3.0000 average load
Took 0.0017 seconds

添码座原创大约 2 分钟

HBase列式存储

基本概念

行式存储与列式存储

Hive作为一个数据仓库，它侧重的是离线的数据分析，也就它本质上是一个OLAP系统。

但咋大数据处理的过程中，不仅仅需要OLAP，有时候也需要执行实时的OLTP任务。

添码座原创大约 5 分钟