大数据技术——hadoop集群搭建出现的问题
创始人
2025-05-28 04:23:20

出现的问题和解决方案

  1. ssh免密出现的问题:

解决方法:

出现上图的是语法错误,在ssh和-keygen中多了空格,去掉即可

2.ssh免密登录出现的问题:

ssh登陆报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED“

解决方法:

1)通过 ssh-keygen 密钥工具更新

ssh-keygen -f ~/.ssh/known_hosts -R 远程主机IP地址

2)手动清除 ~/.ssh/known_hosts 里面报错主机的公钥信息

vi ~/.ssh/known_hosts

3.解压缩移动jdk1.8出现的问题

解决方法:

此时应加上参数-p,即没有找到此目录就自动创建。

sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm 解压到该目录下

4.配置集群DataNode或NameNode没出现的问题

解决方法:

情况一:host文件域名映射没配

C:\Windows\System32\drivers\etc 找到host文件添加域名映射

情况二:用SCP远程拷贝后又修改了配置文件

这样就算第一台机器jps显示正常,第二台第三台机器配置文件依旧是没有同步

1.执行格式化命令

bin/hdfs namenode -format

2.然后 启动

sbin/start-dfs.sh

3.看日志报错

d /export/servers/hadoop-2.7.5/logs/

cat hadoop-root-namenode-slave41.log

4.第一台机器正常启动可以看见NameNode和DataNode之后进行hadoop安装包的分发

5.第一台机器执行以下命令

cd /export/servers/

scp -r hadoop-2.7.1 slave41:$PWD

scp -r hadoop-2.7.1 slave104:$PWD

正常启动Hadoop集群

5. 出现提示信息

”Error:Java_HOME is not set and could not be found”

解决方法:

该错误是因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误

  1. 检查JAVA_HOME是否配置正确(伪分布式环境)

输入java -version查看jdk是否安装成功

输入export,查看jdk环境变量是否设置成功

2.在集群环境下,即使各结点都正确地配置了JAVA_HOME,也会报如下错误

在hadoop-env.sh中,再重新声明一遍JAVA_HOME

启动成功

6.配置hadoop格式化namenode时报错

cannot create directory /usr/local/hadoop/tmp/dfs/name/current

解决方法:

该错误是由于权限问题导致的

通过sudo su进入root操作,然后输入命令,

sudo chmod -R a+w /usr/local/hadoop

usr/local/hadoop为自己的Hadoop地址,如果不确定通过报错的那一行字可以查看

然后再格式化就成功了

7.只能用初始的名字和ip免密登录不能用先改的登录

解决方法:

Hostname里面只改了主机名,用户名还是之前的

相关内容

热门资讯

cad打印线条粗细设置 cad... 004-线型(下)打印样式设置和线型文件使用一、线宽设置方法制图规范里边的线宽要求,我们已经定义好,...
阿西吧是什么意思 阿西吧相当于... 即使你没有受到过任何外语培训,你也懂四国语言。汉语:你好英语:Shit韩语:阿西吧(아,씨발! )日...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
荼蘼什么意思 岁月缱绻葳蕤生香... 感谢作者【辰夕】的原创独家授权分享编辑整理:【多肉植物百科】百科君坐标:云南 曲靖春而至,季节流转,...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...