当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop单机环境安装

发表于: 2014-04-18   作者:alleni123   来源:转载   浏览:
摘要: root@alleni123 1. 首先下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2. 解压缩到usr/local/hadoop 3. 设置环境变量 sudo vi $HOME/.bashrc 加入 export HADOOP_PREFIX=/usr/local/hadoop export PA
root@alleni123

1. 首先下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/


2. 解压缩到usr/local/hadoop

3. 设置环境变量
sudo vi $HOME/.bashrc

加入
export HADOOP_PREFIX=/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin

然后在终端窗口输入$PATH, 就可以看到hadoop/bin被加入进去了。


4. 在hadoop的配置文件中设置java路径, 告诉hadoop Java在哪里。
sudo vi /usr/local/hadoop/conf/hadoop-env.sh

找到#The java implementation to use. Required.
修改下面的java_home路径为系统上的jdk的home路径。

这里要禁止ipv6.
在#Extra Java runtime options. Empty by default下面修改为:
export HADOOP_OPTS=-Djava.net.preferIPV4Stack=true


5. 配置namenode端口地址
sudo vi /usr/local/hadoop/conf/core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/tmp</value>
</property>

</configuration>



6.
sudo vi /usr/local/hadoop/conf/mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

之前把name这里写成了mapred.jobtracker, 结果导致启动后jobtracker和tasktracker自动关闭。



7. sudo mkdir /usr/local/hadoop/tmp
sudo chown root /usr/local/hadoop/tmp
//这里配置,视频24分钟。 视频的窗口上方显示的是: nuggestuser@HNName
//而我的是root@alleni123
//视频的指令是 sudo chown nuggestuser /usr/local/hadoop/tmp
//所以我把nuggestuser改为root
//这里的chown指令如果不输入, 则会在执行format时抛出hadoop java.net.unknownhostexception
//说alleni123.linux:未知的名称或服务

8. hadoop namenode -format
//这里会出现错误, 参考==分界线下面的内容


9. 输入start-all.sh
然后输入jps
如果能看到
TaskTracker
JobTracker
NameNode
DataNode
SecondaryNameNode
Jps

那应该就是成功了。


====================

关于/etc/hosts

输入#hostname
可以看到我这里是alleni123.linux
也就是说, linux是我的localdomain, 而alleni123是localhost名称。

这样会导致一个错误,参考 http://blog.csdn.net/shirdrn/article/details/6562292
Hadoop格式化HDFS报错java.net.UnknownHostException

因为hadoop找到了alleni123.linux, 却无法从这个域名映射我的localhost的地址。
所以就照着修改。
改了半天没作用。。
最后在 http://www.jb51.net/LINUXjishu/10958.html看到赫然的四个字。
记得重启!!!
简直想骂人了。。

hadoop单机环境安装

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号