监控GreenPlum表的增量代码怎么写比较合适_办公生活

监控GreenPlum表的增量代码怎么写比较合适

创始人

2024-01-22 04:39:29

监控GreenPlum表存在的问题
只监控时间戳有什么问题：相同时间戳的记录太多，按时间戳升序排序加 limit 会丢失时间戳等于最后一个时间戳的部分记录。
只监控id有什么问题：若只使用唯一id监控数据，数据发生变更id是监控不到的，这是万万不可以的。

在查询时发现一个问题，一般增量代码通过监控时间戳和设置批大小实现数据的分批写入，但GreenPlum的某个表相同时间戳的数据太多（触发器导致），设置批大小往往会将与最后一个时间戳相等的数据截断，导致丢失一部分数据。这在数据做增量更新的时候是不可接受的，既然只监控时间戳会存在问题，那是否需要加个全表唯一的id字段辅助截断。

解决思路：
1、先根据时间戳升序排序和 limit batchSize 截取一部分数据query1；
2、将最大的时间戳保留到变量right_lmt中，将已经查询到的id记录到列表id_has_run中；
3、根据时间戳等于right_lmt并且id not in tuple(id_has_run)来找出剩余部分的记录rest_query；
4、将rest_query 扩充到query1中，因此，实际的批大小比变量batchSize大。
5、增加GreenPlum表id索引。

疑问：既然第一步已经按照时间戳升序排序，为啥第2步不直接用时间戳等于 right_lmt 并且 id 大于最后一个id来筛选记录呢？
答：这是因为GreenPlum采用的是分布式存储，根据时间戳升序排序并不能保证id是升序排序的，实际上id是乱序的，特别是当已有数据做了更改。

上一篇：嵌入式FreeRTOS学习九，任务链表的构成，TICK时间中断和任务状态切换调度

下一篇：白如霜寒，胡风继续迎长安

热门资讯

埃菲尔铁塔在哪中国仿建埃菲尔... 2019年4月26日，广西南宁市，街头惊现一座巨型山寨版埃菲尔铁塔，高约20米，白色塔身，造型逼真，...

我喜欢你韩语怎么说 sikid...

ps局部放大放大某个部位的图... 软件类学习建议：边看边练习，可以先收藏后学习。一、使用Ctrl快捷键放大：Ctrl + +缩小：Ct...

苗族的传统节日贵州苗族节日有... 【岜沙苗族芦笙节】岜沙，苗语叫“分送”，距从江县城7.5公里，是世界上最崇拜树木并以树为神的枪手部落...

北京的名胜古迹北京最著名的景... 北京从元代开始，逐渐走上帝国首都的道路，先是成为大辽朝五大首都之一的南京城，随着金灭辽，金代从海陵王...

应用未安装解决办法平板应用未... ---IT小技术，每天Get一个小技能！一、前言描述苹果IPad2居然不能安装怎么办？与此IPad不...

脚上的穴位图脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用，包括头部穴位图、胸部穴位图、背部穴位图、胳...

长白山自助游攻略吉林长白山游... 昨天介绍了西坡的景点详细请看链接：一个人的旅行，据说能看到长白山天池全凭运气，您的运气如何？今日介绍...

猫咪吃了塑料袋怎么办猫咪误食... 你知道吗？塑料袋放久了会长猫哦！要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...

世界上最漂亮的人世界上最漂亮... 此前在某网上，选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中，人们投票选出了心目中最美...