windows上传文件到 linux的hdfs
2021-02-05 20:17
标签：成功 height str 获取 pid file href linu port 一、windows上传文件到 linux的hdfs 1、先在 centos 上开启 hdfs, 用 jps 可以看到下面信息， 说明完成开启 2、在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后， 要在 hadoop 的 bin 文件上放以下两个文件（网上找下载）， 3、创建 maven 工程， 运行读写程序 pom 文件 运行上传文件 运行使用 Run configuration, 要 配置 linux 上的用户，不然抛出用户权限问题 console hdfs 二、在 hdfs 创建路径创建路径 2.1 在 hdfs 创建路径 程序 运行结果 2.2 在上面创建的路径 "/testPath" 下面 再创建路径 file 程序 点击在hdfs上面的路径 /testPath 会出现 /file windows上传文件到 linux的hdfs 标签：成功 height str 获取 pid file href linu port 原文地址：https://www.cnblogs.com/Jomini/p/11437947.html
import java.io.IOException;
import java.net.Socket;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Apptest {
public static void main(String[] args) throws Exception, IOException {
upload();
}
public static void upload() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.121.133:9000");
FileSystem fs = FileSystem.get(conf);
Path src = new Path("d://test.txt");
Path dest = new Path("/");
fs.copyFromLocalFile(src, dest);
FileStatus[] fileStatus = fs.listStatus(dest);
for (FileStatus file : fileStatus) {
System.out.println(file.getPath());
}
System.out.println("上传成功");
}
}
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Apptest {
public static void main(String[] args) throws Exception, IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.121.133:9000");
//获取hdfs 客户端对象
FileSystem fs = FileSystem.get(conf);
//在hdfs 上创建路径
fs.mkdirs(new Path("/testPath"));
//关闭资源
fs.close();
System.out.println("end");
}
}
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Apptest {
public static void main(String[] args) throws Exception, IOException {
Configuration conf = new Configuration();
//获取hdfs 客户端对象
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.121.133:9000"),conf,"root");
//在 /testPath 下创建路径
fs.mkdirs(new Path("/testPath/file"));
//关闭资源
fs.close();
System.out.println("end");
}
}
文章标题：windows上传文件到 linux的hdfs
文章链接：http://soscw.com/index.php/essay/51490.html