hadoop入门-在windows上安装，测试hadoop

标签：hadoop   cluster   

上一篇简单叙述了怎么样在windows上编译hadoop，接着上一篇，这篇叙述怎么样安装hadoop并进行简单的验证安装是否正确。编译的机器与安装的机器分开。

我编译的机器是windows7，安装的机器是windows 2008 r2.

第一步：编译完之后，会在target目录下生成hadoop-2.2.0.tar.gz文件，将该文件解压到一个目录下面，然后将整个目录拷贝到目标机器上，尽量选择简单的目录，比如e:\hd

第二步：添加HADOOP_HOME到系统环境变量里，值为e:\hd.并将%HADOOP_HOME%\bin 添加到path里面。

第三步：配置hadoop

1.修改core_site.xml文件

  
      fs.defaultFS
      hdfs://localhost:9000
  

2.修改hdfs-site.xml文件

  
      dfs.replication
      1
  
  
      dfs.namenode.name.dir
      file:/hdp/data/dfs/namenode
  
  
      dfs.datanode.data.dir
      file:/hdp/data/dfs/datanode
  

3.修改yarn-site.xml文件

   yarn.nodemanager.aux-services
   mapreduce_shuffle


  
      yarn.nodemanager.aux-services.mapreduce_shuffle.class
  
   org.apache.hadoop.mapred.ShuffleHandler


4.修改mapred-site.xml文件

   
       mapreduce.framework.name
       yarn
   

第四步：准备hadoop cluster

执行

cd c:/%HADOOP_HOME%/bin
hdfs namenode -format

说明：如果提示JAVA_HOME没有设置或者设置不对，请安装jdk，最好将jdk安装在没有空格的路径里，然后设置JAVA_HOME系统变量。

第五步：启动HDFS

执行

cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步：启动yarn

执行命令：

cd c:/%HADOOP_HOME%/sbin
start-yarn

第七步：验证hadoop cluster是否工作

访问http://localhost:8042和http://localhost:50070

第八步：测试cluster

执行

hadoop dfs -mkdir /test

以及

hadoop dfs -ls /

hadoop入门-在windows上安装，测试hadoop

标签：hadoop   cluster   

原文地址：http://blog.csdn.net/zhanghaiyang9999/article/details/40832867