有状态 SQL 逻辑变更后状态如何恢复?FlinkSQL 支持有状态的增量计算,状态是增量计算的历史累计,实际上业务需要修改逻辑的情况很多,比如新增聚合指标、修改原指标口径、增加过滤条件、新增数据流关联、增加聚合维度等。
业务增加了更多服务维度,在数据产品上就需要扩展分析的维度,因此也需要修改 FlinkSQL 增加聚合维度。但是 SQL 逻辑变化后却不能从之前的状态恢复,因为历史状态对于变更后的 SQL 不能保证其完整性,即使恢复后也不能百分百保证后续计算的正确性。这种情况下,业务为了保证数据的正确性,需要从历史回溯重新计算,回溯的过程会导致线上断流,但业务又不希望牺牲太多的时效性。
解法 1:双链路切换。此解法的关键是再搭建一条相同的实时链路作为备用链路,当变更有状态 SQL 时,可以在备用链路上做回溯,重新计算历史数据,回溯完成后先验证备用链路的结果数据,确保没问题后再在链路最下游的数据服务层切换读取的表,完成整个变更流程。
解法 2:旁路状态生成。与双链路切换不同点在于,这里变更的是链路上的单个作业,思路是临时启动一个旁路作业来回溯,构建出新逻辑的状态,验证数据完成后再重启线上作业,以此完成 SQL 和状态的同时切换。
解法 3:历史状态迁移,前两个方法的思路比较类似,都是基于历史数据重新计算,构建出新状态。但这个思路是基于历史状态迁移出新状态,这种方法构建出的新状态虽然不能保证完整性,但在某些情况下,业务也是可以接受的。目前我们通过改造 State Process API 支持在 SQL 算子及其上下游关系不变的情况下,允许 Join 和 Agg 算子来新增列。
普适性是指在保证数据正确的前提下支持的 SQL 变更范围,前两个方法都是重新计算,状态是完整的,因此比方案 3 的普适性更高。
资源成本是指完成 SQL 变更所需要的额外 Flink 或 Kafka 资源,方法 1 需要构建整条链路,需要更多的 Flink 和 Kafka 资源,因此成本最高。
线上断流指的是在变更过程中导致下游数据延迟的时长,方法 1 是在数据服务层做切换,几乎没有断流;方法 2 的断流时长取决于作业从状态恢复的速度;方法 3 除了状态恢复,还需要考虑状态迁移的速度。
去年12月220,今年1083,有说是电力更改了计费规则,往年计费区间是上年12月1号到次年11月30号,今年调整为1月1号到12月31号,所以2022年12月硬生生塞进了上个年度进行累积计费,成了第13个月,进入了第三阶梯计费,所以用电量没涨,但费用巨增
连续5年在京缴纳社会保险的标准是:从提交购房资格审核月的上一个月起,向前推60个月在京连续缴纳社会保险,且提出申请当月须为正常参保状态。
因单位注册地址发生变更、扣款失败等原因造成单位所有员工社会保险断缴,单位以月报补缴方式为个人完成补缴;因工作调动造成个人社会保险补缴,原单位或新单位为员工完成补缴。
以上两种情况补缴累计不超过3个月的,不影响其在京购房资格#北京头条#
提醒大家碰到此类短信莫信,就是诈骗。【清零提醒】余额变更:尊敬的尾号9133机主,您累计183900分将于1月4日做废,点 网页链接 换兑商品,拒T
【余额变更】余额提醒:尊敬的尾号7055用户,您累计15830分将于1月4日到期,尽快点 网页链接 兑换商品。退订回T
人有先天的“神”,分为魂和魄。人出生后所处的环境,所受的教育,积累的经验等一系列后天的东西,形成了自己的“意”。
后天形成的“意”和先天的“神的区别:先天的东西不可更改,而后天的东西是可变的。
如果你生在儒家家庭就会被教育成为舍身取义,杀身成仁;
如果你生在道家家庭,就会被教育贵生,将生命放在第一位,没有什么比生命更重要。
念佛的人很多,成佛的人很少;
痛苦的人很多,觉悟升华的人很少!
这都是后天的“意”所决定的!
如果我们后天受的教育,
能多符合先天的自然的本能,
这辈子可能会活得顺一些!
#成长# #读书#
仅且只代表个人读书观点
持续读书打卡1142天
《梦与健康》
265亿富豪,开私人飞机回家,如今跌落神坛,判刑三年实在让人唏嘘。
有句古话“君子爱财取之有道”,很多人事业取得成功,不知不觉变得骄狂,而迷失了方向。所以有句话“谦受益,满招损”毛主席一再叮嘱干部“谦虚使人进步,骄傲使人落后。戒骄戒躁”。往往抬头做事低调做人,才能够让人保持清醒的头脑,谨慎行事,不走弯路。
肖永明的故事,给我们敲醒了警钟。
踏实经营期
肖永明,17岁跟着父亲经营塑料厂。
32岁的肖永明来到青海格尔木市,开了“小小酒家”,担任总经理。
2002年成立格尔木藏格钾肥有限公司,做起钾肥生意。
发展膨胀
2004年,入股青海昆仑矿业,并不断增持
2005年已成为第二大股东,仅次于青海瀚海。
2009年,藏格钾肥以3.8亿元的价格拿到青海瀚海85.82%股权,将昆仑矿业收入囊中。
2016年,藏格钾肥借壳上市公司金谷源上市,金谷源正式更名为藏格控股。次子肖瑶成为藏格控股总经理,现任副董事长一职。
2017年,开直升机回家,引发关注。
肖永明家族以265亿元身家成为青海首富,位列当年胡润百富榜第64位。
没落衰退期
2018年,因准备收购巨龙铜业的全部股权,致其负债累计近200亿元。肖永明被迫卸任法定代表人,同时被列入失信被执行人,引发市场轰动。
2019年6月,藏格控股被证监会查出财务造假, 对肖永明作出罚款90万元、5年市场禁入的处罚。后肖永明又因非法采矿获罪。
2020年6月,为尽快归还上市公司占款,藏格控股将巨龙铜业股权出售,巨龙铜业控股股东也变更为西藏紫金。
回暖期 ?
2021年,儿子肖宁成为公司董事长,由于钾肥市场高景气度,藏格矿业业绩出现回升。
2022年6月,法院判决被告人肖永明犯非法采矿罪,判处有期徒刑三年,缓刑四年,并处罚金二百万元(已足额缴纳)。扣押在案的被告人肖永明退缴的上海宏筑物资有限公司的违法所得293807886.36元,由扣押机关依法没收,上缴国库。
上述事件为实际控制人肖永明个人事务,肖永明未在公司担任任何职务,未参与公司任何经营决策,公司目前经营管理层人员稳定,生产经营正常。
如今的藏格矿业已是“肖二代”的天下。
#家国在我心# 历史以来,任何有独立自主领土和主体民族独立人群及资产的部落便逐渐形成了一个国家,随着各国民族的主流文化发便形成了国法、风俗、制度、贸易、课税……,其目的发展生产力,创造国家财富积累。随着历史演变,各国又从农经、贸易、律条等为主的原始纯经济创利社发展成政治社会国家,并一个国家存在多种政治派别,但都以总国法也就是宪法为鼎纹之法,且不能更改和动摇,不管哪个政治派别主国政,均以宪法为执政纲领,世界各国均依此为律。从(政治经济学)的综旨来分析一个国家如何发展和积累,并使国家国富家裕,国安邦全。这是任何国家政者必须。因此,一个国家执致者按(宪法)所规,必须使国人的七情六慾和衣食住行达到基本满足。这是人类生存繁衍之最终标的。
企业买二手房迈入限购时代
(2021年3月3起执行)
3月3政策解读如下】
1、以公司名义购房需具备条件(涉及一二手):
A、企业设立年限已满5年;
B、企业在本市累计缴纳金额已达100万元人民币;
C、企业职工人数10名以上,且按照规定在该企业缴纳社保和公积金满5年;
D、企业近年缴纳税款金额满500万元以上的不受以上限制。
E、企业购买的商品房再次上市交易年限从