HBase HFile与Prefix Compression内部实现全解–KeyValue格式

1.引子

HFile(HBaseFile)是HBase使用的一种文件存储格式的抽象，

目前存在两种版本的HFile:HFileV1和HFileV2

HBase0.92之前的版本仅支持HFileV1,

HBase0.92/0.94同时支持HFileV1和HFileV2。

以下分别是HFileV1/V2的结构图:

HFileV1

HFileV2

图中的数据块(Datablock)正是实际存放应用数据的地方，

每个数据块又由一系列的KeyValue组成，并且这些KeyValue之间是按Key升序排列的，

本文将说明KeyValue到底是什么以及当KeyValue越来越多时出现大量类似的数据有哪些算法能减少重复?

首先来看一个例子:

假设需要将用户的基本信息以及正在参与的开源项目的有关信息存入HBase: