iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >Hadoop的读写操作、元数据及SecondaryNameNode、Checkpoint原理
  • 239
分享到

Hadoop的读写操作、元数据及SecondaryNameNode、Checkpoint原理

摘要

一、写操作    二、读操作    1.请求namenode 因为namenode元数据里面记录了DataNode的地址    2.把我们的信息返回给客户端    3.客户端收到信息之后 就到相应客户端去请求数据即可    4.重

Hadoop的读写操作、元数据及SecondaryNameNode、Checkpoint原理

一、写操作

  

二、读操作

   1.请求namenode 因为namenode元数据里面记录了DataNode的地址

   2.把我们的信息返回给客户端

   3.客户端收到信息之后 就到相应客户端去请求数据即可

   4.重点是请求那个DataNode上的哪个块信息,因为namenode上存放的是块编号

  

三、元数据

  元数据保存在内存中,fsimage是元数据文件的存放方式,fsimage中的内容是各个文件的块信息

  namenode中fsimage信息会每隔半小时更新一次,新文件与旧文件合并不断更新,在关闭时也会更新一次,开启时namenode会吧fsimage的数据加载到内存

四、namenode和SecondaryNameNode CheckPoint原理

  在无Secondarynamenode时namenode要处理大量的客户端的请求还要每半小时把内存的数据同步到fsimage一次,为了减小namenode工作负担,设计出secondarynamenode。

  secondarynamenode是对namenode的一个备份,它会下载namenode上的日志信息,根据日志生成fsimage实现对namenode的备份,把fsimage传给namenode,这时同步的任务交给secondarynamenode,namenode无需自己每半小时同步到fsimage。

  不开启secondarynamenode的情况下,如果namenode挂掉就无法恢复。

  1.secondary namenode请求主Namenode停止使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new。 
  2.secondary namenode节点从主Namenode节点获取fsimage和edits文件(采用Http GET) 
  3.secondary namenode将fsimage文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件 
  4.secondary namenode将新的fsimage文件发送回主Namenode(使用HTTP POST) 
  5.主Namenode节点将从secondary namenode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fstime文件来记录检查点执行的时间

  注:从hadoop0.21.0开始,辅助Namenode已经放弃不用,由checkpoint节点取而代之,功能不变。新版本同时引入一种新的Namenode,名为BackupNode

您可能感兴趣的文档:

--结束END--

本文标题: Hadoop的读写操作、元数据及SecondaryNameNode、Checkpoint原理

本文链接: https://www.lsjlt.com/news/4685.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作