一、写操作 二、读操作 1.请求namenode 因为namenode元数据里面记录了DataNode的地址 2.把我们的信息返回给客户端 3.客户端收到信息之后 就到相应客户端去请求数据即可 4.重
元数据保存在内存中,fsimage是元数据文件的存放方式,fsimage中的内容是各个文件的块信息
namenode中fsimage信息会每隔半小时更新一次,新文件与旧文件合并不断更新,在关闭时也会更新一次,开启时namenode会吧fsimage的数据加载到内存
在无Secondarynamenode时namenode要处理大量的客户端的请求还要每半小时把内存的数据同步到fsimage一次,为了减小namenode工作负担,设计出secondarynamenode。
secondarynamenode是对namenode的一个备份,它会下载namenode上的日志信息,根据日志生成fsimage实现对namenode的备份,把fsimage传给namenode,这时同步的任务交给secondarynamenode,namenode无需自己每半小时同步到fsimage。
不开启secondarynamenode的情况下,如果namenode挂掉就无法恢复。
1.secondary namenode请求主Namenode停止使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new。
2.secondary namenode节点从主Namenode节点获取fsimage和edits文件(采用Http GET)
3.secondary namenode将fsimage文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件
4.secondary namenode将新的fsimage文件发送回主Namenode(使用HTTP POST)
5.主Namenode节点将从secondary namenode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fstime文件来记录检查点执行的时间
注:从hadoop0.21.0开始,辅助Namenode已经放弃不用,由checkpoint节点取而代之,功能不变。新版本同时引入一种新的Namenode,名为BackupNode
--结束END--
本文标题: Hadoop的读写操作、元数据及SecondaryNameNode、Checkpoint原理
本文链接: https://www.lsjlt.com/news/4685.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-16
2024-05-16
2024-05-16
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0