广告
返回顶部
首页 > 资讯 > 数据库 >HDFS的上传下载流程
  • 441
分享到

HDFS的上传下载流程

HDFS的上传下载流程 2014-08-17 05:08:53 441人浏览 猪猪侠
摘要

hdfs上传流程 首先客户端向nn请求上传文件、nn经过检查回应客户端是否可以上传、客户端得到同意后向nn请求上传第一块文件的dn、nn返回给客户端dn的地址、客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连

HDFS的上传下载流程

hdfs上传流程

首先客户端向nn请求上传文件、
nn经过检查回应客户端是否可以上传、
客户端得到同意后向nn请求上传第一块文件的dn、
nn返回给客户端dn的地址、
客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连接、
dn3,dn2,dn1,客户端逐级回应连接成功、
客户端开始向dn1上传第一个block以packet为单位,dn1收到一份packet后自己保存一份还会给dn2,再由dn2向dn3传输一份,
当三台dn都保存了block后则第一块上传完成,可以开始上传第二块了


hdfs下载流程


客户端向nn请求下载某个文件,
nn通过查询元数据找到文件地址返回文件地址给客户端,
客户端挑选一台dn开始请求数据
dn开始传输数据,以packet的形式传输给客户端
客户端拿到所有的packet后合并为一个完整的文件
**下载的过程可以并发进行下载,也就是同时找不同的dn进行下载不同的块文件

原文地址:https://www.cnblogs.com/MMarshall/arcHive/2022/03/03/15962562.html

您可能感兴趣的文档:

--结束END--

本文标题: HDFS的上传下载流程

本文链接: https://www.lsjlt.com/news/9160.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • HDFS的上传下载流程
    hdfs上传流程 首先客户端向nn请求上传文件、nn经过检查回应客户端是否可以上传、客户端得到同意后向nn请求上传第一块文件的dn、nn返回给客户端dn的地址、客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连...
    99+
    2014-08-17
    HDFS的上传下载流程
  • Java实现HDFS文件上传下载
    本文实例为大家分享了利用Java实现HDFS文件上传下载的具体代码,供大家参考,具体内容如下 1、pom.xml配置 <!--配置--> <properties&g...
    99+
    2022-11-13
  • Java怎么实现HDFS文件上传下载
    今天小编给大家分享一下Java怎么实现HDFS文件上传下载的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。pom.xml配置&...
    99+
    2023-07-02
  • RestTemplate文件上传下载与大文件流式下载
    目录一、文件上传二、文件下载三、大文件下载本文是精讲RestTemplate第6篇,前篇的blog访问地址如下: RestTemplate在Spring或非Spring环境下使用精讲...
    99+
    2022-11-13
  • Java实现ftp的上传、下载
    ftp登录命令: windows环境下登录:文件管理资源的地址栏中输入“ftp://ip:port”,然后根据提示输入账号、密码。linux环境下登录:ftp ip,然后根据提示输入账号、密码,lin...
    99+
    2023-09-26
    java linux 服务器
  • 了解SpringMVC的上传和下载
    目录springmvc.xml的配置web.xml的配置主要代码NewFile.jspsuccess.jsp总结springmvc.xml的配置 <beans xmlns=...
    99+
    2022-11-12
  • 前端大文件上传与下载(分片上传)的详细过程
    目录一、问题二、解决1.第一步选择文件2.校验文件是否符合规范3.文件切片上传4.分片上传注意点5.大文件下载总结一、问题 日常业务中难免出现前端需要向后端传输大型文件的情况,这时单...
    99+
    2022-11-13
    前端文件上传和下载 前端上传文件 前端大文件上传
  • Java利用Socket和IO流实现文件的上传与下载
    目录背景概述核心技术ConfigClientServerUploadRunnableImplDownloadRunnableImpl背景概述 本文利用Socket编程和IO流技术实现...
    99+
    2022-11-13
  • SpringMVC实现文件上传下载的全过程
    目录前言一、通用配置二、实现文件下载,上传功能总结前言 文件的上传和下载都是基于io复制,只不过 文件上传是浏览器向服务器发送报文 文件下载是服务器向浏览器发送报文 提示:以下是本篇...
    99+
    2022-11-12
  • Linux下怎么上传、下载文件
    这篇文章给大家分享的是有关Linux下怎么上传、下载文件的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。lrzsz-0.12.20.tar.gz是一款linux下命令行界面上支持上传和下载的第三方工具,能够起到很方...
    99+
    2023-06-28
  • Flutter:文件上传与下载(下载后预览)
    Dio dio是一个强大的Dart Http请求库,提供了丰富的功能和易于使用的API,支持文件上传和下载。 这个就不介绍了,网上有很多的封装案例。 background_downloader 简介 ...
    99+
    2023-09-24
    flutter
  • java- SFTP文件上传下载
    JSch - SFTP文件上传下载 文章目录 JSch - SFTP文件上传下载1. JSch简介2. ChannelSftp常用ApiJSch支持三种文件传输模式文件上传 put() 方法文...
    99+
    2023-09-30
    java 服务器
  • python ftp 上传、下载文件
    python ftp 上传、下载文件#获取昨天日期TODAY = datetime.date.today()  YESTERDAY = TODAY - datetime.timedelta(days=1) CURRENTDAY=YESTER...
    99+
    2023-01-31
    上传 文件 python
  • python实现FTP上传下载
    要求:支持多用户在线的FTP程序 要求:1、用户加密认证2、允许同时多用户登录3、每个用户有自己的家目录 ,且只能访问自己的家目录4、对用户进行磁盘配额,每个用户的可用空间不同5、允许用户在ftp server上随意切换目录6、允许用户查看...
    99+
    2023-01-31
    上传下载 python FTP
  • Java上传下载ftp文件
    在Java中连接FTP服务器可以使用Apache Commons Net库提供的FTPClient类。以下是一个简单的示例代码,演示如何连接到FTP服务器、进行文件上传和下载操作: import org.apache.commons.net...
    99+
    2023-09-03
    java apache 服务器
  • linux下上传下载文件夹的方法
    linux下目录复制:本机->远程服务器 scp -r /home/shaoxiaohu/test1 zhidao@192.168.0.1:/home/test2 test1为源目录,test2为目标目录,z...
    99+
    2022-06-04
    linux 上传文件夹 linux下载文件夹
  • Spring MVC 图片的上传和下载
    ✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏:...
    99+
    2023-08-20
    spring java mvc
  • HDFS读流程的示例分析
    这篇文章给大家分享的是有关HDFS读流程的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所获取...
    99+
    2023-06-02
  • HDFS的读写流程是什么
    今天小编给大家分享一下HDFS的读写流程是什么的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。1.读文件的流程如图所示,读文件...
    99+
    2023-06-27
  • SpringMVC实现上传下载文件
    本文实例为大家分享了SpringMVC实现上传下载文件的具体代码,供大家参考,具体内容如下 一、SpringMVC专门提供了CommonsMultipartResolver组件用于文...
    99+
    2022-11-13
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作