Java API操作HDFS方法是什么

这篇“Java api操作hdfs方法是什么”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“Java API操作HDFS方法是什么”文章吧。

一、判断Path指向目录还是文件

在net.xxr.hdfs包里创建PathToFileOrDir类

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class PathToFileOrDir {    public static void main(String[] args) throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象，指向目录        Path path2 = new Path("/ied01");        if (fs.isDirectory(path2)) {            System.out.println("[" + path2 + "]指向的是目录！");        } else {            System.out.println("[" + path2 + "]指向的是文件！");        }        // 创建路径对象，指向文件        Path path3 = new Path("/lzy01/test2.txt");        if (fs.isFile(path3)) {            System.out.println("[" + path3 + "]指向的是文件！");        } else {            System.out.println("[" + path3 + "]指向的是目录！");        }    }}

结果

二、删除目录或文件

在net.xxr.hdfs包里创建DeleteFileOrDir类

1、删除文件

• 删除/lzy/hello.txt文件

• 编写deleteFile()方法

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Test;import java.net.URI;public class DeleteFileOrDir {    @Test    public void deleteFile() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象（指向文件）        Path path = new Path(uri + "/lzy01/hello.txt");        // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）        boolean result = fs.delete(path, false);        // 根据返回结果提示用户        if (result) {            System.out.println("文件[" + path + "]删除成功！");        } else {            System.out.println("文件[" + path + "]删除失败！");        }    }}

结果

利用Hadoop WEBUI界面查看

再运行deleteFile()测试方法，查看结果

可以在删除文件之前，判断文件是否存在，需要修改代码

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Test;import java.net.URI;public class DeleteFileOrDir {    @Test    public void deleteFile() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象（指向文件）        Path path = new Path(uri + "/lzy01/hi.txt");        // 判断路径对象指向的文件是否存在        if (fs.exists(path)) {            // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）            boolean result = fs.delete(path, false);            // 根据返回结果提示用户            if (result) {                System.out.println("文件[" + path + "]删除成功！");            } else {                System.out.println("文件[" + path + "]删除失败！");            }        } else {            System.out.println("文件[" + path + "]不存在！");        }    }}

结果

2、删除目录

• 删除/ied01目录

• 编写deleteDir()方法

@Test    public void deleteDir() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象（指向目录）        Path path = new Path(uri + "/ied01");        // 判断路径对象指向的目录否存在        if (fs.exists(path)) {            // 删除路径对象指向的目录（第二个参数表明是否递归，删除文件，要递归）            boolean result = fs.delete(path, true);            // 根据返回结果提示用户            if (result) {                System.out.println("目录[" + path + "]删除成功！");            } else {                System.out.println("目录[" + path + "]删除失败！");            }        } else {            System.out.println("目录[" + path + "]不存在！");        }    }

再运行deleteDir()方法，查看结果

3、删除目录或文件

• 进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功

• 删除/ied03/exam.txt文件和/ied02目录

• 编写delete()方法

@Test    public void delete() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 定义随机对象        Random random = new Random();        // 产生随机整数 - [0, 1]        int choice = random.nextInt(100) % 2;        // 定义路径字符串        String[] strPath = {"/ied03/exam.txt", "/ied02"};        // 创建路径对象（指向目录或文件）        Path path = new Path(uri + strPath[choice]);        // 判断类型：目录或文件        String type = "";        if (fs.isDirectory(path)) {            type = "目录";        } else {            type = "文件";        }        // 判断存在性        if (fs.exists(path)) {            // 删除路径对象指向的目录或文件            boolean result = fs.delete(path, true);            // 判断删除是否成功            if (result) {                System.out.println(type + "[" + path + "]删除成功！");            } else {                System.out.println(type + "[" + path + "]删除失败！");            }        } else {            System.out.println(type + "[" + path + "]不存在！");        }    }

以上就是关于“Java API操作HDFS方法是什么”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注编程网精选频道。