专栏/如何解决Flink水印乱序的数据丢失问题呢?

如何解决Flink水印乱序的数据丢失问题呢?

2023年08月23日 07:35--浏览 · --点赞 · --评论
ingemar-
粉丝:1560文章:410

按照数据的时间戳来看,事件是乱序的,则watermark就非常重要了:


乱序怎样产生的呢


采集过程中导致的乱序

网络传输过程导致的乱序


乱序将会导致数据丢失


图片


如何解决乱序的数据丢失问题呢


图片


等待时间(乱序程度)如何设置


  • 等待时间 = 最大的乱序程度。

经验值 => 对自身集群和数据的了解,大概估算

对数据进行抽样

肯定不会设置为几个小时,一般设为 秒 或者 分钟

  • 底层实现

watermark = maxTimestamp - outOfOrdernessMillis - 1 

= 最大乱序事件时间 - 乱序程度(等待时间) - 1ms

  • 需求

根据socket文本计算当前乱序3秒的数据统计

分配水印机制-forBoundedOutOfOrderness

  • 参考代码


投诉或建议

玻璃钢生产厂家阜阳玻璃钢雕塑生产商长宁区进口玻璃钢雕塑价格行情潍坊玻璃钢雕塑全国接单抽象玻璃钢雕塑加工桂平玻璃钢泡沫雕塑商场美陈3d图濮阳公园景观玻璃钢雕塑厂家深圳大型主题商场美陈现价息烽玻璃钢雕塑设计商场美陈装饰制作商场玻璃钢雕塑制作多少钱东莞玻璃钢彩绘雕塑定制赤壁八马骏图玻璃钢雕塑江西所有玻璃钢雕塑厂乡村玻璃钢雕塑仙林夏季商场美陈玻璃钢果篮景观雕塑报价表云南商城玻璃钢造型景观雕塑制作南昌人物玻璃钢雕塑生产厂家宁波玻璃钢长颈鹿雕塑深圳特色商场美陈订购河北商场美陈哪家好玻璃钢雕塑怎么变高级平凉玻璃钢动物雕塑制作太原玻璃钢雕塑租赁朝阳厂家推荐沈阳玻璃钢花盆淮安动物玻璃钢雕塑厂家玻璃钢海洋雕塑哪家好江西步行街玻璃钢雕塑定做价格太原玻璃钢雕塑出售香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化