windows配置hadoop环境变量

2021-04-21 05:27

阅读：694

1.首先需要下载 hadoop的tar.gz包，目前最新版本是2.9.0 下载地址：

文件共享在最下面

http://hadoop.apache.org/releases.html

前提是JDK必须配置成功

我的hadoop是在如图解压在E盘下解压完之后大概是2G多需要一点时间啊

技术分享图片

2.修改etc\hadoop下的文件(注意以下配置文件下所有的地址都是从Linux集群中的hadoop jar粘贴复制过来的)

4个配置文件

core-site.xml

技术分享图片

xml version="1.0" encoding="UTF-8"?>
xml-stylesheet type="text/xsl" href="http://www.soscw.com/configuration.xsl"?>




configuration>
property>
   name>fs.defaultFSname>
   value>hdfs://master:9000value>
property>

  property>
     name>hadoop.tmp.dirname>
     value>/usr/local/hadoop-2.8.0/tmpvalue> //linux集群中的地址
property>

configuration>

mapred-site.xml

xml version="1.0"?>
xml-stylesheet type="text/xsl" href="http://www.soscw.com/configuration.xsl"?>




configuration>
 property>
    name>mapreduce.framework.namename>
    value>yarnvalue>
  property>
  property>
    name>mapreduce.jobhistory.addressname>
    value>master:10020value>
  property>
  property>
    name>mapreduce.jobhistory.addressname>
    value>master:19888value>
  property>

configuration>

hdfs-site.xml

xml version="1.0" encoding="UTF-8"?>
xml-stylesheet type="text/xsl" href="http://www.soscw.com/configuration.xsl"?>




configuration>
property>
      name>dfs.namenode.secondary.http-addressname>
      value>master:50090value>
    property>
    property>
      name>dfs.replicationname>
      value>2value>
    property>
    property>
      name>dfs.namenode.name.dirname>
      value>file:/usr/local/hadoop-2.8.0/hdfs/namevalue>
    property>
    property>
      name>dfs.datanode.data.dirname>
      value>file:/usr/local/hadoop-2.8.0/hdfs/datavalue>
    property>

configuration>

yarn-site.xml

xml version="1.0"?>

configuration>



property>
          name>yarn.nodemanager.aux-servicesname>
          value>mapreduce_shufflevalue>
  property>
  property>
           name>yarn.resourcemanager.addressname>
           value>master:8032value>
  property>
  property>
          name>yarn.resourcemanager.scheduler.addressname>
          value>master:8030value>
  property>
property>  
    name>yarn.log-aggregation-enablename>  
    value>truevalue>  
property> 

 property>
         name>yarn.resourcemanager.resource-tracker.addressname>
         value>master:8031value>
     property>
     property>
         name>yarn.resourcemanager.admin.addressname>
         value>master:8033value>
     property>
     property>
         name>yarn.resourcemanager.webapp.addressname>
         value>master:8088value>
     property>

      
configuration>