集群HDFS文件操作(客户端开发java)

1 环境

1.1 win10专业版下编译过的hadoop jar包

1.2 配置HADOOP_HOME环境变量

在这里插入图片描述

1.3 配置Path环境变量

在这里插入图片描述

2.测试程序

2.1创建一个Maven工程(博主的工程名为:HdfsTest)

2.2导入相应的依赖坐标

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
</dependencies>

2.3 创建包名(com.lsl.hdfs)和类(HdfsClient)写一个测试方方法testMkdirs

2.3.1 获取文件系统

Configuration configuration = new Configuration();

2.3.2 配置在集群上运行

//hadoop102如果没配置Windows的映射是访问不到的,可以写节点的ip地址
configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
FileSystem fs = FileSystem.get(configuration);

2.3.3 创建目录

fs.mkdirs(new Path("/daxian/nide"));

2.3.4 关闭资源

fs.close();

2.3.5 总代码

public class HdfsClient{	
@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{		
		// 1 获取文件系统
		Configuration configuration = new Configuration();
		// 配置在集群上运行
		// configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
		// FileSystem fs = FileSystem.get(configuration);

		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "lsl");
		
		// 2 创建目录
		fs.mkdirs(new Path("/daxian/nide"));
		
		// 3 关闭资源
		fs.close();
	}
}

2.4 运行

1.右击类名 Run As ==》 Run Configurations…
在这里插入图片描述
2.自定义项目名=>Arguments=>VM arguments
在这里插入图片描述
3.最后在集群上查看文件夹是否创建成功

版权声明:本博客为记录本人自学感悟,转载需注明出处!
https://me.csdn.net/qq_39657909

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页