Flink Sql填坑记1：一次Flink sql性能优化经历_办公生活

Flink Sql填坑记1：一次Flink sql性能优化经历

创始人

2024-06-03 14:34:45

先讲一个整个业务的常见，我这边有两个大表（表1和表2），需要进行关联查询，当表1和表2的字段数据变更时，统计结果需要实时变更。

Flink Sql中最常见的统计就是事实表关联维度表的情况，事实表从Kafka传递，维度表为MySQL或者HBase来保存，然后用如下格式的语句来做关联查询：

Select t1.column1,t2.column2,max(column3) from 实时表 t1 left join 维度表 FOR SYSTEM_TIME AS OF t1.proctime as t2 on t1.id = t2.id
Group by t1.column1,t2.column2,TUMBLE(t1.proctime, INTERVAL '120' SECOND(3))

上面这个语句中，FOR SYSTEM_TIME AS OF 表示实时关联维表，这样子维表数据如果变更，统计结果也会实时变更。

TUMBLE(t1.proctime, INTERVAL '120' SECOND(3))表示隔120秒

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：02-初识Vue

下一篇：年度发布书单出炉，助力数字化与敏捷双重转型

Flink Sql填坑记1：一次Flink sql性能优化经历

相关内容

热门资讯