当前位置:首页 > 开发 > 移动开发 > 正文

Hadoop单机模式环境搭建关键步骤

发表于: 2012-08-13   作者:aijuans   来源:转载   浏览:
摘要:         Hadoop环境需要sshd服务一直开启,故,在服务器上需要按照ssh服务,以Ubuntu Linux为例,按照ssh服务如下: sudo apt-get install ssh sudo apt-get install rsync 编辑HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME设置为Java

        Hadoop环境需要sshd服务一直开启,故,在服务器上需要按照ssh服务,以Ubuntu Linux为例,按照ssh服务如下:

sudo apt-get install ssh

sudo apt-get install rsync

编辑HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME设置为Java安装路径。


Hadoop的集群分为三种模式:

  • 单机模式
  • 伪分布式模式
  • 完全分布式模式
不管哪种模型,都需要系统能够免密码ssh设置:
$ssh localhost
看看是否需要登录本机需要密码,如果需要使用如下操作:
$ssh -keygen -t dsp -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

执行:
格式化一个新的分布式文件系统
$bin/hadoop namenode -format
启动Hadoop守护进程:
$bin/start-all.sh

浏览NameNode和JobTracker的网络接口,默认地址分别为:
  • NameNode http://localhost:50070
  • JobTracker http://localhost:50030
将输入文件copy到分布式文件系统:
$bin/hadoop fs -put conf input
运行示例程序;
$bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
查看输出文件:
$bin/hadoop fs -get output output
$cat output/*
或者在分布式文件系统上查看输出文件:
$bin/hadoop fs -cat output/*

停止Hadoop守护进程:
$bin/stop-all.sh

完全分布式集群:
通常选择集群中的一台机器作为NameNode,另外一台不同的机器作为JobTracker,这些被称为Master,余下的机器即作为DataNode,又作为TaskTracker,这些被称为Slaves。
在conf/slaves文件中列出所有slaves的主机名称或者Ip地址,一行一个。

更具体的完全分布式环境搭建可以见两位网友的经验总结文章: hadoop环境搭建hadoop搭建和eclipse开发环境设置

Hadoop单机模式环境搭建关键步骤

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
  本文仅作为学习笔记,供大家初学Hadoop时学习参考。初学Hadoop,欢迎有经验的朋友进行指导与交流
转自:http://blog.csdn.net/hitwengqi/article/details/8008203 首先要了解一下Hadoop的运行模式:
最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。 首先要了解一下Hadoop的运行模
目的 这篇文章主要是个人在学习Hadoop的学习笔记,主要是为了在Linux平台下搭建单机模式和伪分布模
1. Ubuntu环境安装和基本配置 本例程中在MAC上安装使用的虚拟机Ubuntu系统(64位,desktop); 基本
一直都听别人说Hadoop,还是蛮神秘的,不过看介绍才知道这个是整分布式的.现在分布式,大数据都是挺火
首先说明一下:采用的是新装的CentOS的环境,利用xshell进行远程操作来搭建Hadoop单机模式,伪分布
首先要了解一下Hadoop的运行模式: 单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解
这里考虑的是以后涉及到hadoop应用时,专门用该用户操作。用户组名和用户名都设为:hadoop。可以理
Hadoop 2.0.2-alpha单机部署 (1)新建hadoop用户以及hadoop用户组 首先取得root权限新 $ su - 建用
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号