Windows平台安装及配置Hadoop(不借助cygwin)

2021-04-13 05:25

阅读:651

标签:文件相关   开始   替换   tar.gz   pre   lan   hadoop集群   这一   alt   

由于项目需要,我在VMware上装了几个虚拟机Windows server 2012 R2,并要搭建Hadoop集群。刚刚入门hadoop,一头雾水,然后开始搜各种教程,首先是选用cygwin进行安装,但是呢,后来出现一堆问题,然后放弃。最终选择直接在Windows server 2012 R2上安装配置Hadoop,在这里非常感谢博友教程,地址是https://blog.csdn.net/antgan/article/details/52067441,基本是按照这个教程来的,主要说下我踩得坑吧。

整个流程是:

JDK安装及环境变量配置(这个教程很多自己搜吧)

下载hadoop2.5.2.tar.gz 并解压,配置hadoop环境变量,修改hadoop配置文件,我的是直接放到C目录下,即C:\hadoop-2.5.2

其文件目录为

技术分享图片

 

下载hadooponwindows-master.zip 并解压,将bin目录替换原来hadoop目录下的bin目录即可

运行环境:运行cmd,窗口起到C:\hadoop-2.5.2\bin下,执行“hdfs namenode -format”命令,这里开始报错,

跟hdfs-site.xml文件相关,  异常: 2 字节的 UTF-8 序列的字节 2 无效

直接将UTF-8改为UTF8,即

重新运行cmd,首先应将上次格式化生成的logs目录下的文件及workplace目录下生成的文件删除,注意只删除目录下文件,不删除文件目录。窗口起到C:\hadoop-2.5.2\bin下,执行“hdfs namenode -format”命令,不在报错

cmd窗口转换到sbin下,执行“start-all.cmd”命令,弹出以下四个窗口,

技术分享图片

 

紧接着在sbin下,执行“jps”命令,得到以下结果:

技术分享图片

 

到这一步hadoop服务搭建完毕。

按照上文博友教程进行上传测试,操作HDFS,注意在Hadoop服务开启的状态下,再另打开一个cmd窗口,执行以下操作:

首先创建输入目录:

 技术分享图片

 

上传数据到目录:

技术分享图片

 

然后查看文件:

 技术分享图片

 

Windows平台安装及配置Hadoop(不借助cygwin)

标签:文件相关   开始   替换   tar.gz   pre   lan   hadoop集群   这一   alt   

原文地址:https://www.cnblogs.com/wanglexueshilengde/p/8985198.html


评论


亲,登录后才可以留言!