Java操作hdfs文件系统过程

  <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

public class HdfsClientTest {

    static Configuration configuration = null;
    static FileSystem fs = null;

    static {

        configuration = new Configuration();
        configuration.set("dfs.client.use.datanode.hostname", "true");
        try {
            fs = FileSystem.get(new URI("hdfs://IP:9000"), configuration, "hadoop");
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
    }

    
    public static  void mkDir(String dirName){
        try {
            fs.mkdirs(new Path(dirName));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws Exception {
        //创建文件目录
        mkDir("/songguo");
        fs.close();
    }

}    

    public static  void uploadFile(String localPath,String hdfsPath){
        try {
            fs.copyFromLocalFile(new Path(localPath), new Path(hdfsPath));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws Exception {
        //创建文件目录
        //mkDir("/songguo");
        //上传文件到hdfs
        uploadFile("E:\\haha.txt", "/songguo");
        fs.close();
    }

    public static void loadFileFromDfs(String localPath,String hdfsPath){
        try {
            fs.copyToLocalFile(false,new Path(hdfsPath),new Path(localPath),false);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws Exception {
        //创建文件目录
        //mkDir("/songguo");

        //上传文件到hdfs
        //uploadFile("E:\\haha.txt", "/songguo");

        //从hdfs上面下载文件到本地
        loadFileFromDfs("E:\\haha_1.txt","/songguo/haha.txt");

        fs.close();
    }

    public static void deleteFile(String hdfsPath,boolean recuDelete){
        try {
            fs.delete(new Path(hdfsPath),recuDelete);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws Exception {
        //删除文件
        deleteFile("/songguo/haha.txt",false);
        fs.close();
    }

    public static void renameFile(String sourceFilePath,String targetFilePath){
        try {
            fs.rename(new Path(sourceFilePath),new Path(targetFilePath));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws Exception {
        //文件重命名
        renameFile("/qinguo/haha.txt","/qinguo/haha_rename.txt");
        fs.close();
    }

//文件重命名
renameFile("/qinguo/haha_rename.txt","/sanguo/haha.txt");

 public static void main(String[] args) throws Exception {
        RemoteIterator<LocatedFileStatus> files  = fs.listFiles(new Path("/"), true);
        while (files.hasNext()){
            //迭代目录下的具体的文件信息
            LocatedFileStatus fileStatus= files.next();
            System.out.println(" ============== 查看file的相关信息 ==============");
            System.out.println("文件路径 : "+ fileStatus.getPath() );
            System.out.println("文件路径名称：" + fileStatus.getPath().getName());
            System.out.println("文件的权限：" + fileStatus.getPermission());
            System.out.println("文件的用有人：" + fileStatus.getOwner());
            System.out.println("文件所在组信息：" + fileStatus.getGroup());
            System.out.println("文件大小：" + fileStatus.getLen());
            System.out.println("文件修改时间：" + fileStatus.getModificationTime());
            System.out.println("文件副本信息：" + fileStatus.getReplication());
            System.out.println("文件副本信息：" + fileStatus.getReplication());
            System.out.println("文件块大小：" + fileStatus.getBlockSize());
        }
        fs.close();
    }

public static void main(String[] args) throws Exception {
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
        for (FileStatus fileStatus : fileStatuses) {
            boolean directory = fileStatus.isDirectory();
            if(directory){
                System.out.println(fileStatus.getPath().getName() + "是文件目录");
            }
            boolean file = fileStatus.isFile();
            if(file){
                System.out.println(fileStatus.getPath().getName() + "是文件");
            }
        }
        fs.close();
    }

configuration.set("dfs.client.use.datanode.hostname", "true");