windows下大数据开发环境搭建（4）——Spark环境搭建
2021-01-27 15:14
标签：启动 evel ros 自己 java style ext python 2 com 一、所需环境 · Java 8 · Python 2.6+ · Scala · Hadoop 2.7+ 二、Spark下载与解压 http://spark.apache.org/downloads.html 按照以下截图提示，点击下载Spark的tgz压缩包。 下载完成后将Spark用7zip工具解压，放到一个不带空格的根目录下，我将起放在C盘的spark文件夹下：C:\spark\spark-2.4.4-bin-hadoop2.7 三、环境变量配置 四、winutils.exe文件补充 需要从https://github.com/steveloughran/winutils 或 https://gitee.com/likespace/winutils 此处下载与你的hadoop版本对应或版本更高的winutils.exe文件，并保存到Hadoop的bin目录下。 如果没有winutils.exe文件，执行spark-shell将会出现如下错误：ERROR Shell： Failed to locate the winutils binary in the hadoop binary path 五、命令行检验 1.启动scala shell模式 2.启动python shell模式 3.查看Spark context Web UI http://127.0.0.1:4040 4..退出shell ctrl + D 至此，我们已经成功在windows环境下搭建起Spark开发环境，可以使用Spark愉快地继续自己的大数据之旅了！ windows下大数据开发环境搭建（4）——Spark环境搭建 标签：启动 evel ros 自己 java style ext python 2 com 原文地址：https://www.cnblogs.com/JasonCeng/p/11931267.html
SCALA_HOME: C:\spark\spark-2.4.4-bin-hadoop2.7
Path: C:\spark\spark-2.4.4-bin-hadoop2.7\bin
spark-shell
pyspark
文章标题：windows下大数据开发环境搭建（4）——Spark环境搭建
文章链接：http://soscw.com/index.php/essay/47805.html