AI 助理
备案 控制台
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下, flink cdc 集成oss 用来保存checkpoint 的时候,配置都加进去了.

请问一下, flink cdc 集成oss 用来保存checkpoint 的时候,配置都加进去了. 但是报错Aliyun OSS endpoint should not be null or empty. Please set proper endpoint with 'fs.oss.endpoint'. 看代码没有使用传进去的configuration , 而是自己创建的一个. 这个应该怎么把自己的configuration替换进去?image.png image.png

展开
收起
真的很搞笑 2023-05-09 13:31:44 1334 0
2 条回答
写回答
取消 提交回答
  • 游客wufwicvr6fxdm

    在flink run 命令中添加
    -Dfs.oss.endpoint=
    -Dfs.oss.accessKeyId=
    -Dfs.oss.accessKeySecret=
    是生效的,在代码中确实没有加载进去,有解决方法嘛

    2024-08-13 17:17:32
    赞同 展开评论 打赏
  • 武当张三丰丶
    存在即是合理

    在 Flink CDC 集成 OSS 来保存 checkpoint 时,需要将 fs.oss.endpoint 配置项设置为正确的 OSS 端点。这个配置项应该在 Flink CDC 的 Configuration 中添加。

    如果您已经创建了自己的 Configuration,您可以将以下代码片段添加到 Configuration 中以指定正确的 OSS 端点:

    
    Properties confProps = new Properties();
    confProps.setProperty("fs.oss.endpoint", "your-oss-endpoint");
    Configuration config = new Configuration(confProps);
    
    
    

    在这里,您需要将 your-oss-endpoint 替换为您实际使用的 OSS 端点。

    一旦您将正确的 fs.oss.endpoint 配置项添加到 Configuration 中,Flink CDC 将使用它来保存 checkpoint。

    2023-05-11 19:45:17
    赞同 展开评论 打赏
问答分类:
对象存储 流计算 对象存储 实时计算 Flink版
问答标签:
实时计算 Flink版配置 集成oss 实时计算 Flink版CDC flink cdc集成 实时计算 Flink版集成
问答地址:
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品:
实时计算 Flink版
相关问答
实时计算 Flink版
Flink CDC 如何实现多种数据源的数据集成?
50
1
0
在 OceanBase 的多租户系统中,如何使用 Flink CDC 实现跨租户的数据集成?
38
1
0
dataworks数据集成的‘实时同步’功能是通过flink cdc实现的吗,有没有介绍文档?
46
1
0
Flink CDC 如何实现多种数据源的数据集成?
44
1
0
在 OceanBase 的多租户系统中,如何使用 Flink CDC 实现跨租户的数据集成?
42
1
0
Flink CDC + OceanBase 如何支持基于分库分表的数据集成?
23
1
0
小米如何使用Flink SQL Batch作业替换Data X进行离线数据集成?
37
1
0
OSS是否有提供文件的在线处理能力?
1015
3
0
dataphin外部表读取OSS的CSV文件,执行完,书记是空的,没有读到csv文件。
850
0
0
在对象存储服务 OSS 中,用户创建了存储空间(Bucket)之后,可以上传任何类型的文件(Obje
1476
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情
  • 热门讨论

    热门文章

  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊?
    3296
  • Flink1.17为什么需要JDK 11呢?JDK8我试了也能运行
    1653
  • flink怎么能够快速消费kafka数据,需要设置什么参数呢?
    1256
  • Flink sql将数组炸开,实现hive的explode函数的效果,还有什么其他好的方式?
    1355
  • Flink 集群重启后,所有的Jobs任务全都没有了。如果快速恢复所有的任务
    1036
  • 编译失败,有知道怎么回事吗?
    828
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    3062
  • Apache Flink未授权访问上传导致的RCE漏洞,这个漏洞目前方案解决吗?
    393
  • Slot request bulk is not fulfillable,20以上job同时部署失败
    510
  • Flink CDC有遇见这个问题的吗?
    1381
  • 展开全部
  • 数据仓库介绍与实时数仓案例
    42327
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示
    23212
  • 使用 Kafka 和 Flink 构建实时数据处理系统
    12828
  • 实时计算在天猫双十一大屏中的应用
    6792
  • 如何分析及处理 Flink 反压?
    15533
  • Flink入坑指南 第四章:SQL中的经典操作Group By+Agg
    9507
  • 实时欺诈检测(风控)
    5266
  • 来!PyFlink 作业的多种部署模式
    4890
  • 修改代码150万行!与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更?
    4200
  • Apache Flink 为什么能够成为新一代大数据计算引擎?
    2739
  • 展开全部

    相关课程

    更多
  • 基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)
    348
    23
    去学习
  • 对象存储OSS的云上可观测能力最佳实践
    75
    1
    去学习
  • 基于FC+NAS部署SD服务,并从OSS模型库下载模型文件
    131
    1
    去学习
  • 实时数据分析:使用Flink实时发现最热Github项目
    1066
    1
    去学习
  • 实时数据接入:5分钟上手 Flink MySQL 连接器
    575
    1
    去学习
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
    220
    1
    去学习
  • 相关文章

  • 阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
  • 数据实时计算产品对比测评报告:阿里云实时计算Flink版
  • 体验《AI大模型助力客户对话分析》
  • Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化!
  • 实时计算Flink版测评
  • 相关电子书

    更多
  • OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载

    相关实验场景

    更多

    玻璃钢生产厂家玻璃钢可以做雕塑玻璃钢抓鱼雕塑海淀玻璃钢海洋雕塑玻璃钢雕塑名字深圳室内商场美陈供应商布朗熊玻璃钢雕塑定制浙江节庆商场美陈制作泰州玻璃钢雕塑定制价格玻璃钢雕塑雕塑价格平谷玻璃钢动物雕塑玻璃钢花盆低价玻璃钢雕塑能用云石胶固定浙江玻璃钢卡通雕塑长宁区通用玻璃钢雕塑价格行情凌河玻璃钢雕塑厂家海南玻璃钢雕塑厂家品质售后无忧豫莲花玻璃钢雕塑四大天王图片梅州玻璃钢卡通雕塑哪家便宜博爱玻璃钢雕塑定制北京走廊商场美陈订购兰州玻璃钢人物雕塑公司无锡定做玻璃钢造型雕塑商场美陈需要注意大连专业定做沈阳玻璃钢花盆户外玻璃钢雕塑哪家便宜深圳玻璃钢雕塑座椅天津商场室外美陈哪家好白山雕塑玻璃钢卡通江苏玻璃钢金属雕塑哪家好甘肃玻璃钢雕塑图片香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

    玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化