Hadoop在windows下调试问题总结

2021-03-01 03:25

阅读:739

标签:百度一下   hadoop   window   drivers   lint   prope   文件的   百度   win   

1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下,网上很多说改源码的,其实这样也是ok的,不然会报权限错误

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
	at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
	at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609)

2.执行时报ExitCodeException exitCode错误的,请安装常用C++库合集(x86 + 64位),网上百度一下就有

3.修改C:\Windows\System32\drivers\etc下的hosts文件,里面添加自己的虚拟机集群ip和主机名一一对应,这样在浏览器中也就可以用master来访问了

4.在idea中调试时,需要将core-site.xml,hdfs-site.xml放到resources目录下,如果没有改hosts文件的话,记得把对应的主机名改成ip

5.如果不想配置HADOOP_HOME的,记得在MR任务执行的main方法最前面添加如下代码,其中

D:\devtools\hadoop-2.7.7 是我本地用的包含hadoop.dll和winutils,需要下载对应版本的在这里下载:https://github.com/cdarlint/winutils

System.setProperty("hadoop.home.dir", "D:\\devtools\\hadoop-2.7.7");
System.setProperty("HADOOP_USER_NAME", "root");

后续有问题继续补充。

Hadoop在windows下调试问题总结

标签:百度一下   hadoop   window   drivers   lint   prope   文件的   百度   win   

原文地址:https://www.cnblogs.com/decoo/p/14450109.html


评论


亲,登录后才可以留言!