跳转到主要内容

DataSketches 扩展

基于 Apache DataSketches 库的 Apache Druid 聚合器。Sketch 是实现近似流式可合并算法的数据结构。Sketch 可以从 Druid 外部摄取,也可以在摄取时基于原始数据构建。Sketch 可以作为累加指标存储在 Druid 段(segments)中。

要使用 datasketches 聚合器,请确保在配置文件中包含此扩展。

druid.extensions.loadList=["druid-datasketches"]

提供以下模块:

  • Theta sketch - 支持集合运算(并集、交集和差集)的近似去重计数。
  • Tuple sketch - Theta sketch 的扩展,支持与不同键相关联的值(在此专门实现中为数值数组)。
  • Quantiles sketch - 可比较值的近似分布,用于获取排名、分位数和直方图。这是针对数值的专门实现。
  • KLL Quantiles sketch - 可比较值的近似分布,用于获取排名、分位数和直方图。这是针对数值的专门实现。与上述经典分位数算法相比,这是一种更先进的算法;在相同精度下,其 Sketch 更紧凑,或者在相同大小时精度更高。
  • HLL sketch - 使用非常紧凑的 HLL sketch 进行近似去重计数。