Windows上安装运行Spark
2021-05-23 12:30
标签：microsoft shell park 路径 必须 load 否则 ado 运行 1.下载Scala: https://www.scala-lang.org/download/ ①注意：必须下载官方要求的JDK版本，并设置JAVA_HOME,否则后面将出现很多麻烦！ ②Scala当前最新版本为 2.安装后在cmd中输入scala出现如下提示表示成功 3.下载Spark:http://spark.apache.org/downloads.html 4.进入spark-2.3.3-bin-hadoop2.7\bin，cmd中输入spark-shell ①出现下面错误，表示需要安装python。安装时选择加到系统路径中，安装完cmd中输入python验证是否安装成功。 ②出现下面错误，表示找不到Hadoop。需要安装Hadoop并设置HADOOP_HOME的系统路径。关于Windows下的Hadoop安装，可以参考《Windows上安装运行Hadoop》。 ③出现下面的WARN可以不用理会，正常使用。 如果实在受不了WARN的话，则在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默认是有template后缀的，直接去掉这个后缀)中增加 log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR ④屏蔽后的显示 以上。 Windows上安装运行Spark 标签：microsoft shell park 路径 必须 load 否则 ado 运行 原文地址：https://www.cnblogs.com/chevin/p/11064854.html
下一篇：C#网页 截图