flink checkpoint时exact-one模式和atleastone模式的区别

最新推荐文章于 2024-09-22 19:38:20 发布
lixia0417mul2 最新推荐文章于 2024-09-22 19:38:20 发布
阅读量677 收藏 1
点赞数
分类专栏： flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/lixia0417mul2/article/details/132462223
版权
flink 专栏收录该内容
84 篇文章 0 订阅
订阅专栏

背景：

flink在开启checkpoint的时候有两种模式可以选择，exact-one和atleastone模式，那么这两种模式有什么区别呢？

exact-one和atleastone模式的区别

先说结论：exact-one可以完全做到状态的一致性，而atleastone模式正常情况下没法做到状态的一致性，如果开启这个模式，有些消息会重复处理，例如统计计数时，重复的消息会导致统计两次
那么为什么会这样呢？原理如下：
在这里插入图片描述

简单来说，主要的区别在于两种模式下对于接收到ckp分隔符后对齐过程中是否继续处理已经收到ckp分隔符的chanel的记录的不同，exactone是ckp分隔符对齐过程中先缓存记录不处理，而atleastone在ckp分隔符对齐过程中正常处理消息，这样这些消息就会被当成这次ckp的状态的一部分，而其实它不应该是这次ckp状态的一部分，而在应用从最新的ckp启动后，这些记录又有重新消费，叠加上之前已经成为ckp状态的那一次，相当于消息被重复处理了两次，所以才被称为atleastone模式

彩蛋：那么atleastone有可能达到exactone一样的效果吗？

有，前提是作业不需要包含对齐操作，也就是比如只包含map,fliter等并行算子，完全不需要分隔符对齐，但是这种情况下应该直接设置为exactone就完事了，不用故意使用atleastone的

Flink Exactly-Once 投递实现浅析 一致性
九师兄
10-05 925
随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计算/消息队列）都宣称支持 exactly-once，exactly-once 投递似乎是一个已被解决的问题，但是其实它们更多是针对内部模块之间的信息投递，比如 Kafka 生产（produc...
Flink中ExactlyOnce与AtleastOnce
m0_57320261的博客
08-12 1100
理解这两种语义,首先要了解Barrier流的barrier是Flink的Checkpoint中的一个核心概念.多个barrier被插入到数据流中,然后作为数据流的一部分随着数据流动(有点类似于Watermark),这些barrier不会跨越流中的数据每个barrier会把数据流分成两部分:一部分数据进入当前的快照,另一部分数据进入下一个快照.每个barrier携带者快照的id.barrier不会暂停数据的流动,所以非常轻量级。...
Flink exact-once和容错机制
naturaltao的博客
09-17 559
对于一个分布式系统来说，单个进程或是节点崩溃导致整个Job失败是经常发生的事情，在异常发生时不会丢失用户数据并能自动恢复才是分布式系统必须支持的特性之一。 Flink checkpoint
硬核！一文搞懂Flink的checkPoint的exactly-once（好文收藏）
weixin_45857425的博客
06-14 573
Flink的checkPoint原理 1.知识前置 Flink检查点算法：检查点分界线（Checkpoint Barrier） Flink 的检查点算法用到了一种称为分界线（barrier）的特殊数据形式，用来把一条流上数据按照不同的检查点分开。 2.正文开始 *2.1.*JobManager 会向每个 source 任务发送一条带有新检查点 ID 的消息，通过这种方式来启动检查点，检查点分界线由 source 算子注入到常规的数据流中，它的位置是限定好的，不能超过其他数据，也不能被后面的数据超过。 *2
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
chbxw
07-17 1582
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
Flink Checkpoint 机制：如何保证 barrier 和数据之间不乱序？
热门推荐
寒泉
01-08 3万+
Flink Checkpoint 机制：如何保证 barrier 和数据之间不乱序？ 1 前言 1.1 什么是 state？ 要说 checkpoint，首先要从 state 聊起。之前有被问到对于 Flink state 的理解，state 的字面含义就是状态。所谓状态，它本身不难理解，简单的说，state 就是你在处理事件的时候需要保存的状态信息。 举个例子，如果你要计时，就要保存开始时间，然后用结束时间减去开始时间，这里的“开始时间”就是先前的状态。 Flink 官方对 state 也有解释： St
一文搞懂 Flink 的 Exactly Once 和 At Least Once
Ververica的博客
10-21 3688
本文主要为了让你搞懂 Flink 的 Exactly Once 和 At Least Once，看完本文，你能 get 到以下知识：介绍 CheckPoint 如何保障 ...
Flink实现Exactly Once
zwyoozwz的博客
07-29 2695
flink中的exactly once
大数据Flink--详细的Exactly Once 语义在 Flink 中的实现
qq_61189986的博客
07-28 571
1.1随处可见的流式数据1.2传统SQL和流处理特征SQL流处理处理数据的有界性处理的表是有界的流是一个无限元组序列处理数据的完整性执行查询可以访问完整的数据执行查询无法访问所有的数据执行时间批处理查询产生固定大小结果后终止查询不断更新结果，永不终止1.3数据流和动态表转换动态表与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。(1)数据流和动态表之间的转换；(2)在数据流的查询不会终止；(3)查询可能会有状态，用来不断更新查询的结果。...
【Flink】FLink 写入kafka 中关于 Exactly-Once 的一些思考
九师兄
08-23 1116
1.概述 首先看看文章：【Flink】介绍Flink中状态一致性的保证 根据文章内容化，我们知道kafka写写入是2阶段提交。2阶段提交看起来挺令人迷惑的，其实就是分2中情况嘛。 1.1 sink带事务 带事务的sink端，一般都MySQL,Oracle，Kafka等。 比如kafka操作，我们一般事务代码如下 public static void main(String[] args) throws InterruptedException, ExecutionException { P
【记录】flink提交offset给kafka的三种模式
遇事不决问春风
08-09 1400
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyright ownership. * The ASF licenses this file to You un
Flink笔记04——一文了解State管理和恢复
南国的技术栈
06-04 381
前言 State 一般指一个具体的 Task/Operator 的状态，State 数据默认保存在 Java 的堆内存中。 CheckPoint（可以理解为 CheckPoint 是把 State 数据持久化存储了）则表示了一个 Flink Job 在一个特定时刻的一份全局状态快照，即包含了所有 Task/Operator 的状态。 常用State Flink 有两种常见的 State 类型，分别是: keyed State(键控状态) Operator State(算子状态) Keyed Stat
Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性
大模型大数据攻城狮的专栏
09-18 684
在Flink中，状态管理的优化是提高数据处理性能的关键环节。为了实现高效的状态管理，Flink提供了一系列优化策略，这些策略从不同角度对状态数据进行了精细化的处理，从而显著提升了状态管理的整体效能。状态压缩是其中一项重要的优化策略。在处理大规模数据流时，状态数据往往会占用大量的内存和存储空间。通过状态压缩技术，Flink能够有效地减少状态数据的大小，进而降低内存消耗和存储成本。状态压缩的实现原理主要依赖于对状态数据的编码和压缩算法的优化。
Flink Task 日志文件隔离
最新发布
HHoao的博客
09-22 290
任务在启动时会先通过 MdcUtils 启动一个 slf4j 的 MDC 环境，然后将 jobId 添加到 slf4j 的 MDC 容器中，随后任务输出的日志都将附带 joid。
Flink学习2
qq_41519442的博客
09-16 449
可以看到对应的job任务，这个时候选中view taskmanage log。创建好项目后，开始进行打包，打包完后。将jar包上传上WEBUI后。就可以查看到输出的结果了。
Flink架构
ALX3li的博客
09-22 546
如图，DataFlow程序可以DataFlow图（DAG）表示，由于流和转换算子组成。每个DataFlow都是以数据源Source开始数据汇Sink结束。程序中的转换和DataFlow的算子常常是一对一的关系。数据并行和任务并行数据并行：相同算子在不同的数据分区中运行任务并行：不同的算子任务并行计算数据交换策略，参考Flink数据交换策略Partitioner转发策略（forward Strategy），类似于Spark中的map广播策略（broadcast Strategy）
Flink系列知识之：Checkpoint原理
大数据开发、JAVA开发、人工智能AI
09-18 949
Flink系列知识之：Checkpoint原理
Python 如何调用讯飞星火大模型API
hello_1995的博客
09-21 706
讯飞星火是科大讯飞推出的一款先进的人工智能大模型，它具备强大的语言理解和知识问答能力，能够在多种场景中提供智能化服务。2024年6月27日，科大讯飞发布了讯飞星火大模型V4.0版本，全面对标GPT-4 Turbo。
flink-sql-connector-hive和flink-connector-hive区别
03-29
flink-sql-connector-hive和flink-connector-hive的区别在于它们的作用和使用方式： flink-sql-connector-hive是一个Flink SQL连接器，用于将Flink与Hive集成，可以在Flink SQL中使用Hive表进行数据处理。它提供了...
写文章

热门文章

  • jedis连接池的maxIdle和maxtotal参数 19165
  • jediscluster的maxAttempts的理解 7311
  • mybatis打印sql日志 6214
  • cms 和 g1的主要区别 5790
  • clickhouse物化视图详解 5099

分类专栏

  • java 工具类 47篇
  • 用户画像 7篇
  • python机器学习 21篇
  • 大数据 74篇
  • 数据结构 11篇
  • docker 20篇
  • 工具安装 7篇
  • kafka 24篇
  • flink 84篇
  • java性能 23篇
  • 架构图 10篇
  • 数据库 13篇
  • spark 18篇
  • zookeeper 3篇
  • redis 29篇
  • java 内存回收 12篇
  • clickhouse 39篇
  • netty 4篇
  • guava 3篇
  • mysql 10篇
  • hbase 15篇
  • python基础 2篇
  • hdfs 7篇
  • hadoop 1篇
  • elasticsearch 20篇
  • yarn 3篇
  • lvs 1篇

最新评论

  • flink的ProcessWindowFunction函数的三种状态

    lixia0417mul2: 要看下源码才行，这里想表达的是不要定义相同的state名称，否则可能会乱

  • flink的ProcessWindowFunction函数的三种状态

    Xiaolz297: 这里为什么会指向同一个地址

  • Redis服务器主从域名切换需要重启JedisCluster客户端吗

    lixia0417mul2: 是的，就是这样理解

  • Redis服务器主从域名切换需要重启JedisCluster客户端吗

    新IT民工: 我有个疑问，你的意思是切换后，AB节点访问域名访问到的是旧的ip，然后获取cluster slots的时候就能更新正确；c节点也同理，唯一的不同是旧的ip已经连接不上去了，才出现这个问题？

  • flink job同时使用BroadcastProcessFunction和KeyedBroadcastProcessFunction例子

    lixia0417mul2: 可以看参考文献的资料。里面有一个类似的demo

大家在看

  • PHP isset() 和 empty() 区别
  • PHP中如何使用三元条件运算符
  • 【已解决 含pytorch 代码调试分析】pytorch 数据类型基础，与Python数据类型的区别，为什么要另外设置新的pytorch 数据类型？ 570
  • Python | Leetcode Python题解之第429题N叉树的层序遍历
  • Golang | Leetcode Golang题解之第429题N叉树的层序遍历

最新文章

  • mat工具的几个实用地方
  • 用户画像的人群圈选
  • 挖掘类标签实时预测架构
2024
09月 3篇
08月 10篇
06月 1篇
05月 1篇
04月 2篇
03月 22篇
02月 12篇
01月 6篇
2023年177篇
2022年111篇
2021年32篇
2020年30篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家山西玻璃钢小品雕塑坑梓商场美陈装饰淮上玻璃钢花盆花器商场美陈专员kpi指标吉林景区玻璃钢雕塑厂家漯河玻璃钢园林雕塑烟台校园玻璃钢雕塑厂家广东特色商场美陈价钱中山动漫玻璃钢雕塑鞍山批售沈阳玻璃钢花盆安庆玻璃钢卡通座椅雕塑文山玻璃钢雕塑代理广东仿铜玻璃钢雕塑设计滁州商场春节美陈黑龙江水果玻璃钢雕塑价位便宜的玻璃钢雕塑厂家广场玻璃钢雕塑报价芜湖欧式玻璃钢雕塑价位河南花朵玻璃钢仿铜雕塑达州公园玻璃钢雕塑摆件打造厂家玻璃钢星座卡通雕塑商场舞台美陈福州公园玻璃钢雕塑联系方式郑州玻璃钢园艺雕塑厂家镇江弧形玻璃钢花盆贵港市玻璃钢雕塑定制云浮玻璃钢雕塑出厂价格商场美陈价格便宜阿城商场美陈玻璃钢雕塑毛笔图片香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化