需要源码请点赞关注收藏后评论区留言私信~~~

一、HDFS的Shell介绍

Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。

文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。

常用命令如下

 二、案例-Shell命令

三、HDFS的Java API 

由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。

在Java中操作HDFS，创建一个客户端实例主要涉及以下两个类：

Configuration：该类的对象封装了客户端或者服务器的配置，Configuration实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群的配置信息。

FileSystem：该类的对象是一个文件系统对象。

FileSystem对象的一些方法可以对文件进行操作，常用方法如下：

 四、案例-使用Java API操作HDFS

1：搭建项目环境

创建一个项目名为“HadoopDemo”，包名为“com.chapter03”的Maven项目，并在项目的pom.xml文件中引入hadoop-common、hadoop-hdfs、hadoop-client以及单元测试junit的依赖。

2：初始化客户端对象

首先在项目src文件夹下创建com.chapter03. hdfsdemo包，并在该包下创建HDFS_API_TEST.java文件，编写Java测试类，构建Configuration和FileSystem对象，初始化一个客户端实例进行相应的操作。

3：上传文件到HDFS

由于采用Java测试类来实现JavaApi对HDFS的操作，因此可以在HDFS_CRUD.java文件中添加一个AddFileToHdfs()方法来演示本地文件上传到HDFS的示例。

4. 从HDFS下载文件到本地

在HDFS_CRUD.java文件中添加一个DownloadFileToLocal()方法，来实现从HDFS中下载文件到本地系统的功能。

5. 目录操作

在文件添加一个MkdirAndDeleteAndRename()方法，实现创建，删除，重命名文件。

6. 查看目录中的文件信息

在文件中添加一个ListFiles()方法，实现查看目录中所有文件的详细信息的功能。

java类代码如下

package com.chapter03.hdfsdemo;import java.io.FileNotFoundException;
import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;public class HDFS_API_TEST {FileSystem fs = null;@Beforepublic void init() throws Exception {// 构造配置参数对象Configuration conf = new Configuration();// 设置访问的hdfs的URIconf.set("fs.defaultFS", "hdfs://172.16.106.69:9000");// 设置本机的hadoop的路径System.setProperty("hadoop.home.dir", "D:\\hadoop");// 设置客户端访问身份System.setProperty("HADOOP_USER_NAME", "root");// 通过FileSystem的静态get方法获取文件系统客户端对象fs = FileSystem.get(conf);}@Testpublic void testAddFileToHdfs() throws IOException {// 要上传的文件所在本地路径Path src = new Path("D:/test.txt");// 要上传到hdfs的目标路径Path dst = new Path("/testFile");// 上传文件方法fs.copyFromLocalFile(src, dst);// 关闭资源fs.close();}// 从hdfs中复制文件到本地文件系统@Testpublic void testDownloadFileToLocal() throws IllegalArgumentException, IOException {// 下载文件fs.copyToLocalFile(new Path("/testFile"), new Path("D:/"));}// 创建，删除，重命名文件@Testpublic void testMkdirAndDeleteAndRename() throws Exception {// 创建目录fs.mkdirs(new Path("/test1"));fs.rename(new Path("/test1"),new Path("/tes3"));// 删除文件夹，如果是非空文件夹，参数2必须给值truefs.delete(new Path("/test2"), true);}// 查看目录信息，只显示文件@Testpublic void testListFiles() throws FileNotFoundException, IllegalArgumentException, IOException {// 获取迭代器对象RemoteIterator listFiles = fs.listFiles(new Path("/"), true);while (listFiles.hasNext()) {LocatedFileStatus fileStatus = listFiles.next();// 打印当前文件名System.out.println(fileStatus.getPath().getName());// 打印当前文件块大小System.out.println(fileStatus.getBlockSize());// 打印当前文件权限System.out.println(fileStatus.getPermission());// 打印当前文件内容长度System.out.println(fileStatus.getLen());// 获取该文件块信息（包含长度，数据块，datanode的信息）BlockLocation[] blockLocations = fileStatus.getBlockLocations();for (BlockLocation bl : blockLocations) {System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset());String[] hosts = bl.getHosts();for (String host : hosts) {System.out.println(host);}}System.out.println("----------------------------");}}// 查看文件及文件夹信息@Testpublic void ListFileAll() throws FileNotFoundException, IllegalArgumentException, IOException {// 获取HDFS系统中文件和目录的元数据等信息FileStatus[] listStatus = fs.listStatus(new Path("/"));String filelog = "文件夹--       ";for (FileStatus fstatus : listStatus) {// 判断是文件还是文件夹if (fstatus.isFile()) {filelog = "文件--         ";}System.out.println(filelog + fstatus.getPath().getName());}}}

创作不易 觉得有帮助请点赞关注收藏