当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop单机环境安装

发表于: 2014-04-18   作者:alleni123   来源:转载   浏览次数:
摘要: root@alleni123 1. 首先下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2. 解压缩到usr/local/hadoop 3. 设置环境变量 sudo vi $HOME/.bashrc 加入 export HADOOP_PREFIX=/usr/local/hadoop export PA
root@alleni123

1. 首先下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/


2. 解压缩到usr/local/hadoop

3. 设置环境变量
sudo vi $HOME/.bashrc

加入
export HADOOP_PREFIX=/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin

然后在终端窗口输入$PATH, 就可以看到hadoop/bin被加入进去了。


4. 在hadoop的配置文件中设置java路径, 告诉hadoop Java在哪里。
sudo vi /usr/local/hadoop/conf/hadoop-env.sh

找到#The java implementation to use. Required.
修改下面的java_home路径为系统上的jdk的home路径。

这里要禁止ipv6.
在#Extra Java runtime options. Empty by default下面修改为:
export HADOOP_OPTS=-Djava.net.preferIPV4Stack=true


5. 配置namenode端口地址
sudo vi /usr/local/hadoop/conf/core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/tmp</value>
</property>

</configuration>



6.
sudo vi /usr/local/hadoop/conf/mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

之前把name这里写成了mapred.jobtracker, 结果导致启动后jobtracker和tasktracker自动关闭。



7. sudo mkdir /usr/local/hadoop/tmp
sudo chown root /usr/local/hadoop/tmp
//这里配置,视频24分钟。 视频的窗口上方显示的是: nuggestuser@HNName
//而我的是root@alleni123
//视频的指令是 sudo chown nuggestuser /usr/local/hadoop/tmp
//所以我把nuggestuser改为root
//这里的chown指令如果不输入, 则会在执行format时抛出hadoop java.net.unknownhostexception
//说alleni123.linux:未知的名称或服务

8. hadoop namenode -format
//这里会出现错误, 参考==分界线下面的内容


9. 输入start-all.sh
然后输入jps
如果能看到
TaskTracker
JobTracker
NameNode
DataNode
SecondaryNameNode
Jps

那应该就是成功了。


====================

关于/etc/hosts

输入#hostname
可以看到我这里是alleni123.linux
也就是说, linux是我的localdomain, 而alleni123是localhost名称。

这样会导致一个错误,参考 http://blog.csdn.net/shirdrn/article/details/6562292
Hadoop格式化HDFS报错java.net.UnknownHostException

因为hadoop找到了alleni123.linux, 却无法从这个域名映射我的localhost的地址。
所以就照着修改。
改了半天没作用。。
最后在 http://www.jb51.net/LINUXjishu/10958.html看到赫然的四个字。
记得重启!!!
简直想骂人了。。

hadoop单机环境安装

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了
首先要了解一下Hadoop的运行模式: 单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解
安装ssh <table border="0" style="font-family: Consolas, 'Bitstream Vera Sans Mono', 'Couri
ubunutu11.10下hadoop1.1.1单机版环境搭建步骤详解(二)--单机版配置 Hadoop是由Apache基金会开发的
目的 这篇文章主要是个人在学习Hadoop的学习笔记,主要是为了在Linux平台下搭建单机模式和伪分布模
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了
单机版搭建hadoop环境图文解析 安装过程: 一、安装Linux操作系统 二、在Ubuntu下创建hadoop用户组
从零起步搭建Hadoop单机和伪分布式开发环境图文教程 工欲善其事,必先利其器。 本文从零起步构建Had
转自:http://blog.csdn.net/hitwengqi/article/details/8008203 首先要了解一下Hadoop的运行模式:
超详细单机版搭建hadoop环境图文解析 安装过程: 一、安装Linux操作系统 二、在Ubuntu下创建hadoop
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号