hdfs standby namenode checkpoint 的一些参数

dfs.namenode.checkpoint.period
--两次检查点创建之间的固定时间间隔,默认3600,即1小时。所以去ann snn 看到的fsimage 相隔1个小时。

dfs.namenode.checkpoint.txns
--standby namenode 检查的事务数量。若检查事务数达到这个值,也触发一次checkpoint,1,000,000。

以上两个参数都是触发snn checkpoint 的条件

dfs.namenode.checkpoint.check.period
--standby namenode检查是否满足建立checkpoint的条件的检查周期。默认60,即每1min检查一次。

dfs.namenode.num.checkpoints.retained
--在namenode上保存的fsimage的数目,超出的会被删除。默认保存2个。

dfs.namenode.num.checkpoints.retained
--最多能保存的edits文件个数,默认为1,000,000. 为防止standby namenode宕机导致edits文件堆积的情况,设置的限制。

dfs.ha.tail-edits.period
--standby namenode每隔多长时间去检测新的Edits文件。只检测完成了的Edits, 不检测inprogress的文件。default:60s

StandbyCheckpointer 的doWork()
 SNN查看是否满足创建checkpoint 的条件:
1) 距离上次checkpoint的时间间隔 >= ${dfs.namenode.checkpoint.period}(
2) Edits中的事务条数达到${dfs.namenode.checkpoint.txns}限制
这两个条件任何一个被满足了,就触发一次checkpoint 创建。

也可以手动checkpoint :

1. hdfs dfsadmin -safemode enter
 >Safe mode is ON in dev01/192.168.254.43:8020
 >Safe mode is ON in dev02/192.168.254.44:8020

2. hdfs dfsadmin -saveNamespace
  > Save namespace successful for dev01/192.168.254.43:8020
  > Save namespace successful for dev02/192.168.254.44:8020

3. hdfs dfsadmin -safemode leave
 >Safe mode is OFF in dev01/192.168.254.43:8020
 >Safe mode is OFF in dev02/192.168.254.44:8020
首先,checkpoint 之前要先进入安全模式。进入安全模式后,执行saveNamespace命令,他会把a-nn的fsimage 与 大于fsimage txid的editlog(包括finalized 与 in_progress的)合并成新的fsimage并落盘,然后新生成一个editlog。

checkpoint before:
945048-20180928194535391-616861381.png

checkpoint after:
945048-20180928194416594-65806389.png


参考: http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/

posted on 2018-09-28 15:51 姜小嫌 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/jiangxiaoxian/p/9719117.html

weixin_30908941
关注 关注
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop框架:NameNode工作机制详解
AI乔治
10-12 667
一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据时,修改内存中的元数据会把操作记录追加到edits日志文件中,这里不包括查询操作。如果NameNode节点发生故障,可以通过FsImage和Edits的合并,重新把元数据加载到内存中,此时SecondaryNameNode专门用于fsImage和edits的合并。 2、工作流程 NameNode机制 NameNode格式化启动之后,首次会创建Fsimag
HDFS Standby NameNode Read功能剖析
走在前往架构师的路上
02-06 1778
文章目录前言HDFS Standby Read的背景及功能要求Standby NameNode一致性读的控制实现原理分析代码分析流程分析图参考链接 前言 HDFS有着一套十分成熟的HA的机制来保证其服务的高可用性。在HA模式下,分别对应有Active和Standby NameNode的服务。Active NameNode用于提供对外数据服务,而Standby NameNode则负责做checkpoint的工作以及随时准备接替变成Active NameNode的角色,假设说当前Active NameNode
Standby Namenode Checkpoint过程剖析
10-13 235
Standby Namenode(sbn)在进入standby状态后对FSNamesystem调用startStandbyServices(final Configuration conf),该方法会创建两个重要的对象:EditLogTailer 和 StandbyCheckp...
HDFS NameNode重启优化
Dreamershi的专栏
08-10 1080
NameNode重启甚至全集群重启在整个Hadoop集群的生命周期内是比较频繁的运维操作,优化重启时间可以极大提升运维效率,避免可能存在的风险。本文通过分析NameNode启动流程,并结合实践过程简单罗列了几个供参考的有效优化点,借此希望能给实践过程提供可优化的方向和思路。...
NameNode Last Checkpoint报错误[Checkpoint Critical]
我思,故我在!--My data life
07-19 4410
问题: HDP重启后,NameNode Last Checkpoint报错误[Checkpoint Critical]   问题解决: 原理: HDP中的hdfs组件默认的dfs.namenode.checkpoint.perioddfs.namenode.checkpoint.txns分别是6个小时和1000000。 只要达到这两个条件之一,secondarynamenode会执行c...
HDFS Multiple Standby的优化实践
走在前往架构师的路上
12-19 566
在前面的文章中,笔者介绍过一篇关于介绍HDFS Multiple Standby功能的原理文章。从代码改动来看,HDFS Multiple Standby并没有对NameNode的核心机制做大的改动,而是进行了多Standby模式的一个适配。关于Multiple Standby这个功能本身,它确实能够增强NameNode服务的整体可靠性。假设我们使用
HDFS 读写分离 (源码分析1 :支持从Standby Namenode读)
weixin_35792948的博客
11-22 1528
背景 读写分离架构篇HDFS 读写分离(总体架构介绍),我们综述了需要怎么实现读写分离。我们深入了解了社区现在正在实现和完善的方式,就是支持从Standby Namenode(SBN)进行读,而从Active Namenode(ANN)进行写,从而实现HDFS的读写分离,提高NameNode整体的读写性能和吞吐量。 而从本章开始,我们就从源码的角度对其实现进行分析和研究。本篇为源码分析的第一篇,介...
Hadoop HDFS(NameNode、DataNode和HA高可用)
sjjsaaaa的博客
05-21 1398
一、NameNode和SecondaryNameNode(面试开发重点) 1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段:NameNode启动 第一次启动NameNode格式化后,创建Fsimage和Ed
HDFS Multiple Standby原理分析
走在前往架构师的路上
05-05 940
文章目录前言HDFS Multiple Standby的实现要素Multiple Standby实现分析 前言 HDFS在早期实现HA时,是标准的一主一备的服务模式,主的叫Active NameNode,备的叫Standby NameNodeStandby/Active NN间可以互相切换以此达到服务高可用的目的。但是这种双节点的HA模式是否能够满足更高的高可用性的要求呢?在标准的HA模式下,其实只有1个Standby的NN作为bak来使用。假设在极端情况下,Active和Stanby同时出现crash
zookeeper、kafka环境配置
star的博客
11-20 905
一、安装 Zookeeper 由于 Kafka 需要依赖 ZooKeeper,因此首先需要准备 ZooKeeper 环境。 1.安装配置 (1)首先我们访问 ZooKeeper 的官网(http://mirror.bit.edu.cn/apache/zookeeper/)下载合适的版本。 ZooKeeper安装并启动成功后,连接报错: Could not find or load main class org.apache.zookeeper.ZooKeeperMain 解决方案: 3.5.x版本之后,应下
8、hadoop学习笔记02
weixin_45515429的博客
11-28 141
一、hdfs架构:主从结构 1、namenode : nn 名称节点 a、文件的名称 b、文件的目录结构 c、文件的属性 权限 副本数 创建时间 d、一个文件被对于切割哪些数据块(包含副本数的块)=》对应分布在哪些datanode blockmap块映射 nn是不会持久这种映射关系的。是通过集群的启动和运行,dn定期汇报blockreport给nn,然后在内存中动态维护这种映射关系。 作用:管理文件系统的命名空间,维护文件系统树的文件和文件夹 镜像文件 fisimage 编辑日志文件 editlogs -r
HDFS基础知识(个人总结)
hellosrc的博客
10-24 7326
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
Hadoop2.0 HA的checkpoint过程
Amber_amber的专栏
07-22 7343
hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时,系统会先加载fsimage,然后逐个执行所有Edits文件中的每一条操作,来获取完整的文件系统元数据。 Edits & fsimage文件 HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据,Edits存放文件系统操
Hadoop生态圈(十三)- Namenode元数据管理及各组件工作机制
程序园@大Null
01-24 3468
Namenode元数据管理,namenode和SecondaryNamenode工作机制,DataNode工作机制,DataNode数据完整性,DataNode掉线时限参数设置,Namenode元数据恢复,SecondaryNamenode checkpoint机制,fsimage内存镜像文件,Edits log编辑日志,Namenode存储多目录,元数据管理相关目录文件,内存元数据,磁盘元数据
HDFS中的checkpoint( 检查点 )的问题
weixin_30352191的博客
08-05 1505
1、问题的描述 由于某种原因,需要在原来已经部署了Cloudera CDH集群上重新部署,重新部署之后,启动集群,由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.perioddfs.namenode.checkpoint.txns分别是1个小时和1000000。只要达到这两个条件之一,secondarynamenode会执行checkp...
CDH常见问题及解决方法(待续)
热门推荐
柯西柯西Cauchy
05-24 1万+
启动CDH提示Deploy Client configuration fail 原因: 依赖包perl未安装 yum install -y perl Po出自用脚本中的yum操作所需依赖包,仅做参考 yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs r...
第十七讲.CheckPoint检查点机制+阈值参数说明
美妙人生IT
08-13 584
视频:【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【视频笔记】 checkpoint(检查点机制)相关属性 ---------------------------------------- 1.checkpoint周期,默认为1小时。 <property> <name>dfs.namenode.checkpoint.period</n...
hadoop中FsImage与Editslog合并解析
数据猿+的博客
05-18 6339
FsImage和Editslog分别是什么 ? Editslog :保存了所有对hdfs中文件的操作信息 FsImage:是内存元数据在本地磁盘的映射,用于维护管理文件系统树,即元数据(metadata) 在hdfs中主要是通过两个数据结构FsImage和EditsLog来实现metadata的更新。在某次启动hdfs时,会从FSImage文件中读取当前HDFS文件的metadata,之后对H...
深入理解HDFS:NameNode与DataNode解析
"本文主要介绍了HDFS(Hadoop Distributed File System)的体系结构,重点解析了NameNode和DataNode的核心概念,以及HDFS的基本使用方法。" HDFS是Apache Hadoop项目的一部分,它是一个分布式文件系统,设计用于处理...
写文章

热门文章

  • 微信开放平台--》网站应用开发 微信登录网站接口(https://open.weixin.qq.com/) 19760
  • switch case加范围判断 16852
  • matlab_一组数据元素随机排列 13321
  • HP LaserJet MFP M227-M231 scan use manual 8870
  • windows下测试udp端口是否联通 8275

最新文章

  • Java 计算n对应的二进制位上有几个1,分别在什么位置
  • SpringBoot自定义Starter实现
  • 列队
2019年676篇
2018年871篇
2017年673篇
2016年555篇
2015年387篇
2014年308篇
2013年243篇
2012年218篇
2011年132篇
2010年99篇
2009年78篇
2008年77篇
2007年52篇
2006年29篇
2005年17篇
2004年8篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家商场运动区美陈主题玻璃钢熊雕塑玻璃钢雕塑批发价格山东仿铜孔子玻璃钢雕塑定做景观灯玻璃钢花盆价格德兴玻璃钢胸像雕塑南宁玻璃钢雕塑厂高淳商场活动美陈杭州人物玻璃钢雕塑多少钱达州公园玻璃钢雕塑摆件打造厂家河南常见商场美陈研发玻璃钢雕塑种类齐全酒店玻璃钢雕塑艺术小品文山玻璃钢雕塑供应西宁玻璃钢雕塑哪家好莆田玻璃钢人物雕塑价格如何玻璃钢人物雕塑款式多江苏商城玻璃钢造型雕塑制作江阴商场开业美陈绍兴商场美陈费用天驰玻璃钢花盆玻璃钢海洋雕塑价格泸水市玻璃钢雕塑生产商河南玻璃钢雕塑生产厂家石景山商场美陈灯饰画加工厂福建常见商场美陈研发公司玻璃钢卡通动漫雕塑垃圾分类官渡区玻璃钢广场雕塑设计徐州商场装饰美陈衡阳玻璃钢雕塑生产厂家香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化