HBase底层存储数据的文件格式是什么？StoreFiles（HFile）详解-程序员宅基地

技术标签： hadoop big data Hbase 大数据 hbase

StoreFiles（HFile）结构

StoreFile是HBase存储数据的文件格式。

HFile的逻辑结构

HFile逻辑结构图

在这里插入图片描述

逻辑结构说明

4大部分

Scanned block section

扫描StoreFile时，所有的Data Block（数据块）都将会被读取

Leaf Index（LSM + C1树索引）、Bloom block（布隆过滤器）都会被读取

Non-scanned block section

扫描StoreFile时，不会被读取

包含MetaBlock和Intermediate Level Data Index Blocks

Opening-time data section

在RegionServer启动时，需要将数据加载到内存中，包括数据块索引、元数据索引、布隆过滤器、文件信息。

Trailer

记录了HFile的基本信息

各个部分的偏移值和寻址信息

StoreFile物理结构

StoreFile是以Hfile的形式存储在HDFS上的。Hfile的格式为下图：

在这里插入图片描述

HFile文件是不定长的，长度固定的只有其中的两块：Trailer和FileInfo。正如图中所示的，Trailer中有指针指向其他数据块的起始点。
File Info中记录了文件的一些Meta信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等
Data Index和Meta Index块记录了每个Data块和Meta块的起始点。
Data Block是HBase I/O的基本单元，为了提高效率，HRegionServer中有基于LRU的Block Cache机制。每个Data块的大小可以在创建一个Table的时候通过参数指定，大号的Block有利于顺序Scan，小号Block利于随机查询。每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成, Magic内容就是一些随机数字，目的是防止数据损坏。
HFile里面的每个KeyValue对就是一个简单的byte数组。但是这个byte数组里面包含了很多项，并且有固定的结构。我们来看看里面的具体结构：

在这里插入图片描述

开始是两个固定长度的数值，分别表示Key的长度和Value的长度
紧接着是Key，开始是固定长度的数值，表示RowKey的长度
紧接着是 RowKey，然后是固定长度的数值，表示Family的长度
然后是Family，接着是Qualifier
然后是两个固定长度的数值，表示Time Stamp和Key Type（Put/Delete）——每一种操作都会生成一个Key-Value。Value部分没有这么复杂的结构，就是纯粹的二进制数据了。

在这里插入图片描述

Data Block段

保存表中的数据，这部分可以被压缩

Meta Block段 (可选的)

保存用户自定义的kv对，可以被压缩。

File Info段

Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。

Data Block Index段

Data Block的索引。每条索引的key是被索引的block的第一条记录的key。

Meta Block Index段 (可选的)

Meta Block的索引。

Trailer

这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。DataBlock Index采用LRU机制淘汰。

本文链接：https://blog.csdn.net/qq_40585384/article/details/122421206

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Sandboxie v5.45.2正式版系统安全工具_sandboxie系统安全工具-程序员宅基地

文章浏览阅读141次。简介：菜鸟高手裸奔工具沙盘Sandboxie是一款国外著名的系统安全工具，它可以让选定程序在安全的隔离环境下运行，只要在此环境中运行的软件，浏览器或注册表信息等都可以完整的进行清空，不留一点痕迹。同时可以防御些带有木马或者病毒的恶意网站，对于经常测试软件或者不放心的软件，可放心在沙盘里面运行！下载地址：http://www.bytepan.com/J7BwpqQdKzR..._sandboxie系统安全工具

Mac技巧|如何在 MacBook上设置一位数登录密码-程序员宅基地

文章浏览阅读230次，点赞4次，收藏5次。Mac老用户都知道之前的老版本系统是可以设置一位数登陆密码的，但是更新到10.14以后就不可以了，今天就教大家怎么在新版本下设置Mac一位数登陆密码。

chatgpt中的强化学习 PPO_chatgpt使用的强化学习-程序员宅基地

文章浏览阅读3.4k次。本该到此结束，但是上述实现的时候其实是把生成的每一步的奖励都使用统一的句子级reward，但该代码其实也额外按照每个token来计算奖励值的，为了获取每个token的奖励，我们在生成模型的隐层表示上，多加一个线性层，映射到一维，作为每个状态的预测奖励值。类似的，在文本生成中我们也可以用蒙特卡洛方法来估计一个模型的状态价值。假如我们只采样到了s1和s2，没有采样到s3，由于7和3都是正向奖励，s1和s2的训练后生成的概率都会变大，且s1的概率变的更大，这看似合理，但是s3是未参与训练的，它的概率反而减小了。_chatgpt使用的强化学习

获取不规则多边形中心点_truf计算重心-程序员宅基地

文章浏览阅读433次，点赞10次，收藏8次。尝试了3种方法，都失败了！_truf计算重心

HDU 1950最长上升子序列学习nlogn_poj 1631 hdu 1950为啥是最长上升子序列-程序员宅基地

文章浏览阅读406次。学习LIS_poj 1631 hdu 1950为啥是最长上升子序列

kubernetes===》二进制安装_sed -ie 's#image.*#image: ${ epic_image_fullname }-程序员宅基地

文章浏览阅读550次。一、节点规划主机名称IP域名解析k8s-m-01192.168.12.51m1k8s-m-02192.168.12.52m2k8s-m-03192.168.12.53m3k8s-n-01192.168.12.54n1k8s-n-02192.168.12.55n2k8s-m-vip192.168.12.56vip二、插件规划#1.master节点规划kube-apiserverkube-controller-manage_sed -ie 's#image.*#image: ${ epic_image_fullname }#g