博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop搭建注意事项汇总
阅读量:6038 次
发布时间:2019-06-20

本文共 2443 字,大约阅读时间需要 8 分钟。

以前都是在单机模式下搭建hadoop进行运作,今天试着在两台机器上搭建,就出现了一堆问题。现在汇总注意事项

1.Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的帐户

我第一台机器上使用都用户名是hadoop,第二台使用都就是xuwei了,这样导致了很多问题。如果早知道必须使用相同都用户名,当时就不这么麻烦了。

2.格式化HDSF

在启动hadoop服务

./start-all.sh

之前,我们必须进行HDSF,使用如下命令

./hadoop namenode -format

如果不进行HDSF格式化的话,可能会出现没有namenode或者datanode的错误。

3.缺少datanode

在master上启动hadoop服务,但是master节点上所有进程都正常启动,但是slave节点上有tasktracker,却没有了datanode。查看slave上的日志(保存在hadoop/logs/hadoop-hadoop-datanode-xuwei-laptop.log这个文件里面),从logs中我们发现了如下错误信息:

2011-10-10 10:02:28,447 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting DataNodeSTARTUP_MSG:   host = xuwei-laptop/127.0.1.1STARTUP_MSG:   args = []STARTUP_MSG:   version = 0.20.1STARTUP_MSG:   build = http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.1-rc1 -r 810220; compiled by 'oom' on Tue Sep  1 20:55:56 UTC 2009************************************************************/2011-10-10 10:02:34,144 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/program/tmp-hadoop/dfs/data: namenode namespaceID = 1911773165; datanode namespaceID = 1366308813    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233)    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148)    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298)    at org.apache.hadoop.hdfs.server.datanode.DataNode.
(DataNode.java:216) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368)2011-10-10 10:02:34,145 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /************************************************************SHUTDOWN_MSG: Shutting down DataNode at xuwei-laptop/127.0.1.1************************************************************/

从中我们可以发现是因为临时文件目录中的内容出错。后来一想确实是我那slave机器跑过单机模式的hadoop,tmp-hadoop就是在那个时候进行格式化产生的。因此我们在这里删除tmp-hadoop,在master上重启hadoop服务。一切正常。

 

本文转自xwdreamer博客园博客,原文链接:http://www.cnblogs.com/xwdreamer/archive/2011/10/08/2510827.html,如需转载请自行联系原作者

你可能感兴趣的文章
个人总结
查看>>
uva 673 Parentheses Balance
查看>>
Bzoj 2252: [2010Beijing wc]矩阵距离 广搜
查看>>
css 禁止选中文本
查看>>
bzoj2165
查看>>
tomcat 配置首页
查看>>
算术运算表达式正则及分析
查看>>
Oracle 12c 多租户 手工创建 pdb 与 手工删除 pdb
查看>>
shell初涉
查看>>
[浪子学编程][MS Enterprise Library]ObjectBuilder之创建策略祥解(二)
查看>>
ASP.NET 中设置路径的三种方式
查看>>
EBS使用 Distributed AD在多个节点并行adpatch
查看>>
windows添加和删除服务
查看>>
关于云栖,有点无语的几个地方,管理能不能管?
查看>>
Windows线程的同步与互斥
查看>>
C#进阶系列——MEF实现设计上的“松耦合”(四):构造函数注入
查看>>
AngularJs ng-change事件/指令(转)
查看>>
linux系统下安装两个或多个tomcat
查看>>
ProtoBuffer 简单例子
查看>>
iOS多线程开发系列之(一)NSThread
查看>>