Windows上安装运行hadoop
2021-04-08 06:27
标签：访问 运行命令 技术分享 oca jdk1.8 图片 info nbsp details 0.自己编译安装步骤在这里，有英文版本连接：《英文传送门》。 自己编译尝试后不成功，换为下面使用别人编译好的版本的方法。参考博客：《初学hadoop,windows下安装》 1.下载JDK，并设置JAVA_HOME。(使用不带空格的路径，比如Program Files，将在后面的配置中报错！) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载hadoop。下载地址：http://hadoop.apache.org/releases.html 这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3 3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行！覆盖！即可。 下载地址：https://github.com/steveloughran/winutils 4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件 ①core.site.xml（配置默认hdfs的访问端口） ②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。） ③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn） ④yarn-site.xml（这里yarn设置使用了mr混洗） ⑤hadoop-env.cmd 设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！) 6.进入D:\hadoop-2.8.3\bin目录，格式化hdfs 在cmd中运行命令 hdfs namenode -format 7.进入D:\hadoop-2.8.3\sbin目录 在cmd中运行命令start-all.cmd 8.在浏览器地址栏中输入：http://localhost:8088查看集群状态。 9.在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态。 以上。 Windows上安装运行hadoop 标签：访问 运行命令 技术分享 oca jdk1.8 图片 info nbsp details 原文地址：https://www.cnblogs.com/chevin/p/9090683.html
configuration>
property>
name>fs.defaultFSname>
value>hdfs://localhost:9000value>
property>
configuration>
configuration>
property>
name>dfs.replicationname>
value>1value>
property>
property>
name>dfs.namenode.name.dirname>
value>file:/hadoop/data/dfs/namenodevalue>
property>
property>
name>dfs.datanode.data.dirname>
value>file:/hadoop/data/dfs/datanodevalue>
property>
configuration>
configuration>
property>
name>mapreduce.framework.namename>
value>yarnvalue>
property>
configuration>
configuration>
property>
name>yarn.nodemanager.aux-servicesname>
value>mapreduce_shufflevalue>
property>
property>
name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
value>org.apache.hadoop.mapred.ShuffleHandlervalue>
property>
configuration>
set JAVA_HOME=C:\Java\jdk1.8.0_73
