Redis中不仅保存着Clickhouse计算出来的预聚合
数据,也保存Flink计算结果,例如,每5分钟统计一次近1小时的登录数据
。
原创大约 17 分钟
动态时间片
类似近1小时内用户的登录次数多于3次
这样的风控指标,本质上是一种风控关系表达式
,它由左变量
、关系运算符
和右变量
(或阈值
)组成,如果把它用另外一种方式展现出来就是这样。
对于这种风控指标的计算来说,真正的难点不在于计算本身,而在于 如何快速且准确地取得指定时间片的数据
。
原创大约 6 分钟
原创大约 22 分钟
虽然前面已经介绍了大量的聚合函数,但还是有一些高频出现的没覆盖到,所以这里就来集中汇总一下。
1. topK(N)(x)
经常会出现统计数量,然后按数量的倒序排序并取前N个值的场景,这就是典型的TopN
需求。
Clickhouse直接提供了返回指定列中最频繁出现的前N个值的函数。
原创大约 6 分钟
Clickhouse一共指定了二十多个函数为高阶函数,它们中的大部分都在高阶函数中列出。
由于文档更新原因,有些函数没列出来,而有些函数的文档有错误,这里全部都一一修正。
原创大约 14 分钟
原创大约 16 分钟
Clickhouse的语法并不复杂,但是有些查询语句不仅比较难理解,而且出现的频率还极高。
能够用好它们,做大数据的OLAP基本上没啥难度。用不好,面对一大堆数据可能会觉得无从下手。
这里就来盘点盘点。
WITH子句
原创大约 37 分钟
作为一个专门用于OLAP
数据分析,且目前最快的数据库系统,Clickhouse之前是不支持更新和删除操作的,但迫于需求压力,还是增加了这两种功能。
为了兼顾存储效率和查询性能,Clickhouse为不同的应用场景提供了不同的删除方式。
原创大约 6 分钟
想知道Clickhouse都有哪些数据类型和哪些设置,可以通过如下SQL语句查询。
:) SELECT * FROM system.data_type_families
:) SELECT * from system.settings
原创大约 12 分钟
数据库引擎
1. MySQL引擎
用于将远程MySQL服务器中的表映射到Clickhouse,并对这些表进行INSERT
和SELECT
操作。其实它就是一个Clickhouse操作MySQL数据库的接口。
原创大约 20 分钟