Windows7下安装pyspark
2021-07-09 04:06
标签:mirrors x86 环境变量 分享 错误 hub amd html block 安装需要如下东西: jdk-8u181-windows-x64.exe spark-2.1.3-bin-hadoop2.7 hadoop-2.7.7 Anaconda3-2.4.1-Windows-x86_64.exe python-3.5.4-amd64.exe pycharm-community-2016.1.4.exe 千万不要用默认路径Program Files,这个有空格后面会很坑!新建路径在C:\Java,Java安装在这里! 在 在C盘新建 在C盘新建 去网站下载Hadoop在Windows下的支持winutils https://github.com/steveloughran/winutils 根据版本来选择,这里用的是 修改C:\Hadoop\etc\hadoop下的hadoop-env.cmd为set JAVA_HOME=C:\Java\jdk1.8.0_11 在 安装路径为 在C盘或者代码盘新建\tmp\hive路径,输入命令 cmd输入pyspark得到如下画面 在如下路径添加环境变量 Windows7下安装pyspark 标签:mirrors x86 环境变量 分享 错误 hub amd html block 原文地址:https://www.cnblogs.com/TTyb/p/9717499.htmljava
spark
hadoop(版本要与spark的一致,这里都是hadoop2.7)
Anaconda(这个是为了预防python出现api-ms-win-crt-runtime-l1-1-0.dll错误,且安装了vc_redist.2015.exe还无法解决时需要安装)
python
pycharm
安装JDK
cmd
中输入 java
出现如下信息就算安装成功了安装spark
Spark
目录,将其解压到这个路径下
安装hadoop
Hadoop
目录,将其解压到这个路径下
hadoop2.7
,所以选择2.7
的bin
下载下来,将其覆盖到 C:\Hadoop\bin
cmd
中输入 hadoop
出现如下信息就算安装成功了安装python
C:\Python35
winutils.exe chmod -R 777 C:\tmp\hive
验证pyspark
配置pycharm
Run->Edit Configurations->Environment variables
文章标题:Windows7下安装pyspark
文章链接:http://soscw.com/index.php/essay/102605.html