HBase性能优化

|

HBase性能优化方案

(一)、表的设计

一、Pre-Creating Regions 预分区

详情参见:Table Creation: Pre-Creating Regions

解决海量导入数据时的热点问题

背景:

在创建HBase表的时候默认一张表只有一个region,

所有的put操作都会往这一个region中填充数据,

当这一个region过大时就会进行split。

如果在创建HBase的时候就进行预分区

则会减少当数据量猛增时由于region split带来的资源消耗。

注意:

Hbase表的预分区需要紧密结合业务场景来选择分区的key值。

每个region都有一个startKey和一个endKey来表示该region存储的rowKey范围。

1
> create 't1', 'cf', SPLITS => ['20150501000000000', '20150515000000000', '20150601000000000']

或者

1
2
3
4
5
6
> create 't2', 'cf', SPLITS_FILE => '/home/hadoop/splitfile.txt' 

/home/hadoop/splitfile.txt中存储内容如下:
20150501000000000
20150515000000000
20150601000000000

该语句会创建4个region:

Hbase的Web UI中可以查看到表的分区情况:

其中,每个region的命名方式如下:[table],[region start key],[region id]

二、row key

1、特性

  • 在Hbase中 rowKey 可以是任意字符串,最大长度为64KB , 一般为10—100bytes ,存储在bytes[ ]字节数组中,一般设计为定长。

  • rowKey是按字典排序

  • Rowkey规则:

    1、 定长 越小越好

    2、 Rowkey的设计是要根据实际业务来

    3、 散列性

    ​ a) 反转 001 002 100 200

    ​ b) Hash

2、HBase中row key用来检索表中的记录,支持以下三种方式:

· 通过单个row key访问:即按照某个row key键值进行get操作;

· 通过row key的range进行scan:即通过设置startRowKey和endRowKey,在这个范围内进行扫描;过滤器

· 全表扫描:即直接扫描整张表中所有行记录。

三、column family

个数限定在2~3个

原因:

因为某个column family 在flush会,他临近的column family也会因关联效应被触发flush,最终导致系统会产生更多的I/O。

四、参数设置

  • In Memory

创建表时,HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中,保证在读取的时候被cache命中。

  • Max Version

创建表时,HColumnDescriptor.setMaxVersions(int maxVersions)设置表中数据的最大版本,如果只需要保存最新版本的数据,那么可以设置setMaxVersions(1)。

  • Time To Live

创建表时,HColumnDescriptor.setTimeToLive(int timeToLive)设置表中数据的存储生命期,过期数据将自动被删除,例如如果只需要存储最近两天的数据,那么可以设置setTimeToLive(2 24 60 * 60)。

五、Compact & Split

在Hbase中,数据更新时 首先写入WAL日志(Hlog)和内存(memstore)中,Memstore中数据是有序的,当Memstore累计数据达到一定阈值后,会创建一个新的Memstore,并且将之前的Memstore添加到flush队列,由单独的线程flush到磁盘中成为一个storefile。同时, 系统会在zookeeper中记录一个redo point,表示这个时刻之前的变更已经持久化了(minor compact)

StoreFile是只读的,一旦创建后就不可以再修改。因此Hbase的更新其实是不断追加的操作。当一个Store中的StoreFile数量达到一定的阈值后,就会进行一次合并(major compact),将对同一个key的修改合并到一起,形成一个大的StoreFile,当StoreFile的大小达到一定阈值后,又会对 StoreFile进行分割(split),等分为两个StoreFile。

由于对表的更新是不断追加的,处理读请求时,需要访问Store中全部的StoreFile和MemStore,将它们按照row key进行合并,由于StoreFile和MemStore都是经过排序的,并且StoreFile带有内存中索引,通常合并过程还是比较快的。

实际应用中,可以考虑必要时手动进行major compact,将同一个row key的修改进行合并形成一个大的StoreFile。同时,可以将StoreFile设置大些,减少split的发生。

hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file,这个过程就称之为compaction。在hbase中,主要存在两种类型的compaction:minor compaction和major compaction。

minor compaction:的是较小、很少文件的合并。

major compaction 的功能是将所有的store file合并成一个

触发major compaction的可能条件有:

major_compact 命令、

majorCompact() API、

region server自动运行

(相关参数:

hbase.hregion.majoucompaction 默认为24 小时、

hbase.hregion.majorcompaction.jetter 默认值为0.2 。防止region server 在同一时间进行major compaction)。

hbase.hregion.majorcompaction.jetter参数的作用是:

对参数hbase.hregion.majoucompaction规定的值起到浮动的作用,假如两个参数都为默认值24和0.2,那么major compact最终使用的数值为:19.2~28.8 这个范围。

minor compaction的运行机制要复杂一些,它由一下几个参数共同决定:

hbase.hstore.compaction.min

默认值为 3,表示一次minor compaction中最少选取3个store file. minor compaction才会启动

hbase.hstore.compaction.max

默认值为10,表示一次minor compaction中最多选取10个store file

hbase.hstore.compaction.min.size

表示文件大小小于该值的store file 一定会加入到minor compaction的store file中

hbase.hstore.compaction.max.size

表示文件大小大于该值的store file 一定会被minor compaction排除

hbase.hstore.compaction.ratio

将store file 按照文件年龄排序(older to younger),minor compaction总是从older store file开始选择

六、高表和宽表的选择

资源链接:

http://www.cnblogs.com/rocky24/p/3372ad2a037a73daf0ff4ed4a9f43625.html

https://yq.aliyun.com/articles/213705

1、分类

Hbase表设计:

高表:行多列少;

宽表:行少列多。

2、根据KeyValue信息的筛选粒度,用户应尽量将需要查询的维度和信息存储在行键中,才能达到更好的数据筛选效率。

在Hbase中,数据操作具有行级原子性,按行分片。根据用户是否批量修改Value内容来决定高表和宽表的选择,宽表每一行存储的数据信息量多,易超过最大HFile的限制,若用户不存在全局value操作的需求,宽表比较适合。

(二)、写表操作

一、多HTable客户端并发写

创建多个HTable客户端用于写操作,提高写数据的吞吐量。

1
2
3
4
5
6
7
static final Configuration conf = HBaseConfiguration.create();
static final String table_log_name = “user_log”;
wTableLog = new HTable[tableN];
for (int i = 0; i < tableN; i++) {
wTableLog[i] = new HTable(conf, table_log_name);
wTableLog[i].setWriteBufferSize(5 * 1024 * 1024); //5MB
wTableLog[i].setAutoFlush(false);

二、HTable参数设置

  • Auto Flush

通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭,这样可以批量写入数据到HBase,而不是有一条put就执行一次更新,只有当put填满客户端写缓存时,才实际向HBase服务端发起写请求。默认情况下auto flush是开启的

  • Write Buffer

通过调用HTable.setWriteBufferSize(writeBufferSize)方法可以设置HTable客户端的写buffer大小,如果新设置的buffer小于当前写buffer中的数据时,buffer将会被flush到服务端。其中,writeBufferSize的单位是byte字节数,可以根据实际写入数据量的多少来设置该值。

  • WAL Flag

在HBase中,客户端向集群中的RegionServer提交数据时(Put/Delete操作),首先会先写WAL(Write Ahead Log)日志(即HLog,一个RegionServer上的所有Region共享一个HLog),只有当WAL日志写成功后,再接着写MemStore,然后客户端被通知提交数据成功;如果写WAL日志失败,客户端则被通知提交失败。这样做的好处是可以做到RegionServer宕机后的数据恢复。

因此,对于相对不太重要的数据,可以在Put/Delete操作时,通过调用Put.setWriteToWAL(false)或Delete.setWriteToWAL(false)函数,放弃写WAL日志,从而提高数据写入的性能。

值得注意的是:谨慎选择关闭**WAL日志,因为这样的话,一旦RegionServer宕机,Put/Delete的数据将会无法根据WAL**日志进行恢复。

三、批量写

通过调用HTable.put(Put)方法可以将一个指定的row key记录写入HBase,同样HBase提供了另一个方法:通过调用HTable.put(List)方法可以将指定的row key列表,批量写入多行记录,这样做的好处是批量执行,只需要一次网络I/O开销,这对于对数据实时性要求高,网络传输RTT高的情景下可能带来明显的性能提升。

四、多线程并发写

在客户端开启多个HTable写线程,每个写线程负责一个HTable对象的flush操作,这样结合定时flush和写buffer(writeBufferSize),可以既保证在数据量小的时候,数据可以在较短时间内被flush(如1秒内),同时又保证在数据量大的时候,写buffer一满就及时进行flush。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
for (int i = 0; i < threadN; i++) {
Thread th = new Thread() {
public void run() {
while (true) {
try {
sleep(1000); //1 second
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (wTableLog[i]) {
try {
wTableLog[i].flushCommits();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
};
th.setDaemon(true);
th.start();
}
MR+HBASE

(三)、读表操作

淘宝Ken Wu同学的博客

一、多HTable客户端并发读

创建多个HTable客户端用于读操作,提高读数据的吞吐量。

1
2
3
4
5
6
7
static final Configuration conf = HBaseConfiguration.create();
static final String table_log_name = “user_log”;
rTableLog = new HTable[tableN];
for (int i = 0; i < tableN; i++) {
rTableLog[i] = new HTable(conf, table_log_name);
rTableLog[i].setScannerCaching(50);
}

二、HTable参数设置

  • Scanner Caching
1
2
3
4
5
6
7
8
9
10
11
hbase.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数,默认情况下一次一条。通过将其设置成一个合理的值,可以减少scan过程中next()的时间开销,代价是scanner需要通过客户端的内存来维持这些被cache的行记录。

有三个地方可以进行配置:

1)在HBase的conf配置文件中进行配置;

2)通过调用HTable.setScannerCaching(int scannerCaching)进行配置;

3)通过调用Scan.setCaching(int caching)进行配置。

三者的优先级越来越高。
  • Scan Attribute Selection
1
2
scan时指定需要的Column Family,可以减少网络传输数据量,否则默认scan操作会返回整行所有Column Family的数据。
scan.addColumn("cf1".getBytes(), "name".getBytes());
  • Close ResultScanner
1
通过scan取完数据后,记得要关闭ResultScanner,否则RegionServer可能会出现问题(对应的Server资源无法释放)。

三、批量读

四、多线程并发读

五、缓存查询结果

六、 Blockcache

文章目录
  1. HBase性能优化方案
  • (一)、表的设计
  • (二)、写表操作
  • (三)、读表操作
  • |
    载入天数...载入时分秒...