这篇文章主要介绍hdfs架构如何设计,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!HDFS架构设计:1.NN(Namenode):主要是维护管理文件命名空间,其中包括了文件名称,文件的权限,创建时间,副本数,文件被分
这篇文章主要介绍hdfs架构如何设计,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
HDFS架构设计:
1.NN(Namenode):主要是维护管理文件命名空间,其中包括了文件名称,文件的权限,创建时间,副本数,文件被分成多少块,快分布在哪些机器(产生文件fsimage和editlog)。
2.理解NN管理下NN和块以及实际存储内容的存储关系。
实例:假设NN为一个容量为128000ML的正方形盒子,每个块为同样大小正正方方的容量为128ML的盒子,但是每个盒子里只有3ml的水(每个块中存储文件的实际大小)。
则问实际存储的内容是多少ml?3*(128000/128)=3000ml这里是由DN管理存储的。
放进去的盒子是多少个?1000个(其实就是存储的块的数量)
总的来说尽管实际存储只有3000ml,但是却消耗了1000个瓶子的名字的字节总和的NN的空间,但是如果把1000个瓶子压缩成500或者更少(小文件合并),则可以消耗更少量的NN管理空间。
3.DN(DataNode):存储数据块,存储数据块校验和。
4.SN(SecondaryNode):做每小时的检查工作checkpoint。(检查NN的工作即产生文件fsimage和editlog并进行打包制作成新的fsimage文件保存下来)
图理解:
以上是“HDFS架构如何设计”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注编程网精选频道!
--结束END--
本文标题: HDFS架构如何设计
本文链接: https://www.lsjlt.com/news/231792.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
2024-05-24
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0