当前位置:首页 > 开发 > 研发管理 > 正文

Hadoop2.5.2安装——单机模式

发表于: 2015-02-12   作者:eksliang   来源:转载   浏览:
摘要: 转载请出自出处:http://eksliang.iteye.com/blog/2185414 一、概述        Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。   二、下载地址 Hadoop 网址http:

转载请出自出处:http://eksliang.iteye.com/blog/2185414

一、概述

       Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。

 

二、下载地址

Hadoop 网址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop

下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/

下载的版本是hadoop-2.5.2.tar.gz

 

三、拷贝到/usr/hadoop  解压 hadoop

温馨提示,安装之前必须确保JDK已经安装,因为hadoop是用java写的,依赖于jdk.

[root@localhost hadoop]# pwd
/usr/hadoop
[root@localhost hadoop]# ls
hadoop-2.5.2  hadoop-2.5.2.tar.gz

 

四、修改配置文件 hadoop-env.sh

       Hadoop的配置文件都在/usr/hadoop/hadoop-2.5.2/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第五步测试实例,下面只是安装实际情况修改。

       在hadoop中配置JAVA_HOME,默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过,就可用使用默认的,不需修改。

 

五、修改java虚拟机的类存

原来启动JVM时配置的最大内存是512m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小,如果不需要也不必修改。

export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"

六、运行实例 Hello Hadoop

切换到该安装目录下,建立要上传到hadoop的两个文件 t1.txt、2.txt

mkdir input
cd input
echo "hello world" > t1.txt
echo "hello hadoop" > t2.txt

 运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

./hadoop-2.5.2/bin/hadoop jar /usr/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

 查看结果如下

[root@localhost hadoop]# cat ./output/*
hadoop  1
hello   2
world   1

 

单机部署就是这么简单!

原文出自:http://my.oschina.net/mynote/blog/93340

 

Hadoop2.5.2安装——单机模式

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
转载请出自出处:http://eksliang.iteye.com/blog/2191493 一、下载hadoop的的部署文件 我这里是使
转载请出自出处:http://eksliang.iteye.com/blog/2191493 一、下载hadoop的的部署文件 我这里是使
上传hbase工具 解压缩 [hadoop@master installer]$ tar xzf hbase-0.94.16-security.tar.gz [hadoop
首先安装JDK: 然后安装hadoop: 最后的实例测试:首先在 /opt/data 目录下创建 input目录, 然后把
下载: 建议下载稳定版本,即stable版本。 zookeeper的安装模式有三种: 单机模式(stand-alone):
一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以
一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以
前提: 已经安装好cloudstack 并登录至管理界面 本文使用的版本为4.3版本 安装可以看官方文档 http:/
Hadoop是一个用Java编写的用于运行与物理集群中的框架,吸收了GFS和mapreduce编程模型的特性。Hadoo
安装实例的版本是: 0.94.27 安装Java运行环境 HBase需要系统安装Java运行环境(JRE)。推荐Oracle的
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号