spark开发常见问题之一：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop b

2020-12-13 04:14

阅读：264

标签：版本 mamicode home failed log ado dbi 没有出现

最近在学习研究pyspark机器学习算法，执行代码出现以下异常：

19/06/29 10:08:26 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:379)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:394)
at org.apache.hadoop.util.Shell.(Shell.java:387)
at org.apache.hadoop.util.StringUtils.(StringUtils.java:80)
...........
19/06/29 10:08:26 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark‘s default log4j profile: org/apache/spark/log4j-defaults.properties

从程序运行度方面来说，这个异常并不影响spark程序的继续执行。但是作为一个程序员看到异常就如出现bug，必须让这种异常消失！

分析异常：根据提示应该是Hadoop binaries.中缺少winutils.exe这个配置。

解决方法：

1.首先检查本地window环境是否已经安装hadoop，若没有则先配置hadoop环境变量

1）下载Hadoop，我本次操作使用的是hadoop-2.7.3，当然你可以根据自己需求去官网下载

官网下载地址：

网盘分享我使用的版本：

链接: https://pan.baidu.com/s/1-ssNBynSzrC5iG5ozwqAUA 提取码: zdu5

2）配置windows环境变量。本机是windows10系统

先添加HADOOP_HOME配置