- 支持快速写入持续变化的对象状态。
- 在后台删除旧的对象状态,从而显著减少存储占用。
VersionedCollapsingMergeTree 与 CollapsingMergeTree 的用途相同,但采用了不同的折叠算法,因此支持使用多个线程按任意顺序插入数据。特别是,Version 列有助于在行未按正确顺序插入时,仍能正确折叠这些行。相比之下,CollapsingMergeTree 只允许严格连续插入。
创建表
引擎参数
查询子句
VersionedCollapsingMergeTree 表时,所需的子句与创建 MergeTree 表时相同。
折叠
数据
Sign 列。如果 Sign = 1,表示该行是对象的一个状态 (我们称之为“状态”行) 。如果 Sign = -1,则表示取消具有相同属性的对象状态 (我们称之为“取消”行) 。同时还要使用 Version 列,它应当用不同的编号来标识对象的每个状态。
例如,我们想统计用户在某个站点访问了多少个页面,以及停留了多长时间。在某个时间点,我们写入以下这一行来表示用户活动的状态:
Sign 除外。
第二行包含当前状态。
由于我们只需要用户活动的最后一个状态,因此这些行
VersionedCollapsingMergeTree 会在合并数据分区片段时执行此操作。
要了解为什么每次变更都需要两行,请参见算法。
使用说明
- 写入数据的程序应记住对象的状态,以便能够生成对应的取消记录。“取消” 字符串应包含主键字段的副本、“状态” 字符串的版本,以及相反的
Sign。这会增大初始存储占用,但可以加快数据写入。 - 列中过长且持续增长的数组会因写入负载而降低引擎效率。数据越简单直接,效率越高。
SELECT结果在很大程度上取决于对象变更历史的一致性。准备插入数据时务必谨慎。如果数据不一致,可能得到不可预测的结果,例如会话深度这类非负指标出现负值。
算法
Sign 不同的行。行的顺序无关紧要。
当 ClickHouse 插入数据时,会按主键对行排序。如果 Version 列不在主键中,ClickHouse 会将其隐式添加到主键中作为最后一个字段,并据此排序。
选择数据
SELECT 查询,因此无法预测结果中行的顺序。这意味着,如果需要从 VersionedCollapsingMergeTree 表中获取完全“折叠”后的数据,就必须进行聚合。
要完成最终折叠,请编写带有 GROUP BY 子句并使用考虑符号的聚合函数的查询。例如,要计算数量,请使用 sum(Sign) 而不是 count()。要计算某个值的总和,请使用 sum(Sign * x) 而不是 sum(x),并添加 HAVING sum(Sign) > 0。
聚合 count、sum 和 avg 可以用这种方式计算。如果一个对象至少有一个未折叠的状态,也可以计算聚合 uniq。而聚合 min 和 max 无法计算,因为 VersionedCollapsingMergeTree 不会保存已折叠状态的值历史。
如果你需要提取经过“折叠”但未聚合的数据 (例如,检查是否存在最新值符合特定条件的行) ,可以在 FROM 子句中使用 FINAL 修饰符。这种方法效率较低,不应在大型表上使用。
使用示例
INSERT 查询来创建两个不同的数据分区片段。如果通过单条查询插入数据,ClickHouse 只会创建一个数据分区片段,因此不会执行任何合并。
获取数据:
INSERT 查询创建了两个数据分区片段。SELECT 查询由两个线程执行,因此结果中的行顺序是随机的。
之所以没有发生折叠,是因为这些数据分区片段尚未合并。ClickHouse 会在某个我们无法预测的时间点合并数据分区片段。
这就是为什么我们需要聚合:
FROM 子句中使用 FINAL 修饰符。