Window 10 WSL 下hadoop 伪分布式安装

2021-03-10 07:30

阅读：349

标签：post ons 查看 home style ubuntu rop start local

Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境

有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统

因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考

下面是具体的配置步骤：

1：JDK的安装配置：这是必不可少的步骤

2：ssh的安装配置：Ubuntu SSH安装及配置免密码登录，安装完后可以用 ssh localhost来验证是否成功

3：hadoop伪分布式配置：下载hadoop并解压，然后修改相应的配置文件如下

hadoop-env.sh

export JAVA_HOME=/home/xxx/java/jdk1.8.0_241

core-site.xml

configuration>
   property>
      name>fs.defaultFSname>
      value>hdfs://localhost:9000value>
   property>
   property>
      name>hadoop.tmp.dirname>
      value>/home/xxx/hadoop-2.7.4/tmpvalue>
   property>
configuration>

hdfs-site.xml

configuration>
    property>
         name>dfs.replicationname>
         value>1value>
    property>
    property>
         name>dfs.permissionsname>
         value>falsevalue>
    property>
    property>
         name>dfs.namenode.name.dirname>
         value>file:/home/xxx/hadoop-2.7.4/hdfs/namevalue>
    property>
    property>
         name>dfs.datanode.data.dirname>
         value>file:/home/xxx/hadoop-2.7.4/hdfs/datavalue>
    property>
configuration>

上面是配置了HDFS，下面继续配置YARN

maprep-site.xml

configuration>
   property>
      name>mapreduce.framework.namename>
      value>yarnvalue>
   property>
configuration>

yarn-site.xml

configuration>

    property>
        name>yarn.nodemanager.aux-servicesname>
        value>mapreduce_shufflevalue>
    property>
configuration>

配置完后，就可以

1：格式化namenode：bin/hdfs namenode -format

2：启动hdfs: sbin/start-dfs.sh

3：在浏览器里查看dfs：http://localhost:50070

4：启动YARN：sbin/start-yarn.sh

5：在浏览器里查看YARN：http://localhost:8088

Window 10 WSL 下hadoop 伪分布式安装

标签：post ons 查看 home style ubuntu rop start local

原文地址：https://www.cnblogs.com/benfly/p/12706626.html

上一篇：asp.net webapi测试

下一篇：C#提取类型的所有方法和参数

文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：Window 10 WSL 下hadoop 伪分布式安装
文章链接：http://soscw.com/index.php/essay/62668.html

亲，登录后才可以留言！

Window 10 WSL 下hadoop 伪分布式安装

评论

热门文章

推荐文章

最新文章

置顶文章