技术标签: ClickHouse clickhouse 大数据
语法:
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
...
INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
) ENGINE = MergeTree()
ORDER BY expr
[PARTITION BY expr]
[PRIMARY KEY expr]
[SAMPLE BY expr]
[TTL expr [DELETE|TO DISK 'xxx'|TO VOLUME 'xxx'], ...]
[SETTINGS name=value, ...]
配置选项:
ENGINE = MergeTree() ORDER BY (a, b, intHash32(UserID) SAMPLE BY intHash32(UserID)
TTL date + INTERVAl 1 DAY
DELETE
规则。MergeTree 表引擎中的数据是拥有物理存储的,数据会按照分区目录的形式保存到磁盘上。
一张数据表的完整物理结构分为3个层级,分别为数据表目录、分区目录以及各分区下具体的数据文件。
完整分区目录的命名公式:PartitionID_MinBlockNum_MaxBlockNum_Level
MergeTree 与其他数据库不同的是,每一批数据的写入,MergeTree 都会生成一批新的分区目录。也就是说,对于同一个分区而言,也会存在多个分区目录的情况。
在之后的某个时刻(写入后的10~15分钟,也可以手动执行 optimize table xxxx final
语句),ClickHouse会通过后台任务再将属于相同分区的多个目录合并成一个新的目录。
已经存在的旧分区目录并不会立即被删除,而是在之后的某个时刻通过后台任务删除(默认8分钟)。
新目录名称的合并方式遵循的规则:
名称变化过程:
分区目录创建、合并、删除的过程:
MergeTree 的主键使用 PRIMARY KEY 定义,待主键定义之后,MergeTree 会依据 index_granularity 间隔(默认8192行),为数据表生成一级索引并保存至 primary.idx 文件内,索引数据按照 PRIMARY KEY 排序。
primary.idx 文件内的一级索引采用稀疏索引实现。
稀疏索引的优势是仅用少量的索引标记就能够记录大量数据的区间位置信息,且数据量越大优势越明显。由于稀疏索引占有空间小,所以primaray.idx内的索引数据常驻内存,取用速度自然极快。
索引文件查看命令:od -An -i -w4 primary.idx
索引粒度就如同标尺一般,会丈量整个数据的长度,并依照刻度对数据进行标注,最终将数据标记成多个间隔的小段。
由于是稀疏索引,所以 MergeTree 需要间隔 index_granularity 行数据才会生成一条索引记录,其索引值会依据声明的主键字段获取。
一个压缩数据块由头信息和压缩数据两部分组成。
数据写入过程:
优势:
数据标记作为衔接一级索引和数据的桥梁,其像极了做过标记小抄的书签,而且每个章节都拥有各自的书签。
数据标记和索引区间是对齐的。
为了能够与数据衔接,[Column].mrk数据标记文件也与[Column].bin文件一一对应,用于记录数据在.bin文件中的偏移量信息。
一行标记数据使用一个元组表示,元组内包含两个整型数值的偏移量信息。
查看标记文件的命令:
od -An -l xxx.mrk
MergeTree 在读取数据时,必须通过标记数据的位置信息才能够找到所需要的数据。整个查找过程大致可以分为读取压缩数据块和读取数据两个步骤。
当一个间隔 (index_granularity) 内的数据未压缩大小 size < 64KB 时,则多个数据标记对应一个压缩数据块。
当一个间隔 (index_granularity) 内的数据未压缩大小 64KB <= size <= 1MB 时,则一个数据标记对应一个压缩数据块。
当一个间隔 (index_granularity) 内的数据未压缩大小 size >1MB 时,则一个数据标记对应多个压缩数据块。
数据写入的第一步是生成分区目录,伴随着每一批数据的写入,都会生成一个新的分区目录。在后续的某一时刻,属于相同分区的目录会依照规则合并到一起;接着,按照 index_granularity 索引粒度,会分别生成 primary.idx 一级索引、每一个列字段的 .mrk 数据标记和 .bin 压缩数据文件。
数据查询的本质,可以看作一个不断减小数据范围的过程。在最理想的情况下,MergeTree 首先可以依次借助分区索引、一级索引和二级索引,将数据扫描缩至最小。然后再借助数据标记,将需要解压与计算的数据范围缩至最小。
TTL 即 Time To Live,顾名思义,它表示数据的存活时间。在 MergeTree 中,可以为某个列字段或整张表设置 TTL。
设置TTL:
-- create_time 是日期类型,code 字段被设置的TTL是在create_time的取值向后延续10秒。
CREATE TABLE ttl_table_v1 (
id String,
create_time DateTime,
code String TTL create_time + INTERVAL 10 SECOND
)
ENGINE = MergeTree
ORDER by id
CREATE TABLE ttl_table_v2 (
id String,
create_time DateTime,
code String TTL create_time + INTERVAL 10 SECOND
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER by create_time
TTL create_time + INTERVAL 1 DAY
{
"columns":[{
"name":"code","min":1557478860,"max":1557651660}],"table":{
"min":1557565200,"max":1557738000}}
## columns 是保存列级别TTL信息
## table 是保存表级别TTL信息
## min 和 max 则保存了当前数据分区内,TTL指定日期字段的最小值、最大值分别与INTERVAL表达式计算后的时间戳。
19.15 版本之前,MergeTree 只支持单路径存储,所有的数据都会被写入 config.xml 配置中path 指定的路径下,即使服务器挂载了多块磁盘,也无法有效利用这些存储空间。
19.15 版本开始,MergeTree 实现了自定义存储策略的功能,支持以数据分区为最小移动单元,将分区目录写入多块磁盘目录。
存储策略:
配置方式:
<storage_configuration>
<disks>
<disk_name_a> <!-- 自定义磁盘名称 -->
<path>/chbase/data</path> <!-- 磁盘路径 -->
<keep_free_space_bytes>1073741824</keep_free_space_bytes> <!-- 指定指定磁盘的预留空间,单位字节 -->
</disk_name_a>
<disk_name_b>
<path>…</path>
<keep_free_space_bytes>...</keep_free_space_bytes>
</disk_name_b>
</disks>
<policies>
<default_jbod> <!-- 自定义策略名称 -->
<volumes>
<jbod> <!-- 自定义名称磁盘组 -->
<disk>disk_name_a</disk>
<disk>disk_name_b</disk>
</jbod>
</volumes>
</default_jbod>
</policies>
</storage_configuration>
MergeTree 拥有主键,但是它的主键却没有唯一键的约束。这意味着即便多行数据的主键相同,它们还是能够被正常写入。
ReplacingMergeTree 就是在这种背景下为了数据去重而设计的,它能够在合并分区时删除重复的数据。
ReplacingMergeTree 是以分区为单位删除重复数据的。
ReplacingMergeTree 的可选参数:
ENGINE = ReplacingMergeTree([ver])
ver 表示版本列,类型为 UInt*, Date 或 DateTime。可选参数。
在数据合并时,ReplacingMergeTree 从相同排序键的行中选择一行留下:
用户只需查询数据的汇总结果,不关心明细数据,并且数据的汇总条件是预先明确的,而 SummingMergeTree 就是能够在合并分区时,按照预先定义的条件聚合汇总数据,将同一分组下的多行数据汇总合并成一行。
使用方式:
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法