当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop安装及配置流程

发表于: 2014-08-19   作者:DemoGilbete   来源:转载   浏览次数:
摘要: <div class="it610-blog-content-contain" style="font-size: 14px"></div>   Hadoop环境配置以及安装过程: <!--[1、Linux系统安装,以及网络的搭建 1.1 网络的选择为host-only模式 1.2 启动v

<div class="it610-blog-content-contain" style="font-size: 14px"></div>

 

Hadoop环境配置以及安装过程:

<!--[1、Linux系统安装,以及网络的搭建

1.1 网络的选择为host-only模式

1.2 启动vmwave的虚拟网络配置器

1.3修改ip地址,将VMware网络配置器中的iP地址设置成192.168.80.1,在Linux中网络连接中将连接更改为manual(自定义),并设定ip地址192.168.80.X,只需要网关为192.168.80.1

1.4 验证ip地址设定是否成功,在本机cmd模式下,ping 192.168.80.X,并在Linux中终端ping 192.168.80.1,若能ping通,则网络设置成功。

2、主机名的更改,绑定iP与主机名

2.1 执行命令hostname demo1,将主机名修改为demo1

2.2 执行命令vi /etc/hosts ,并将192.168.80.9  demo1, 添加至文件中,保存并退出

2.3 执行命令 vi /etc/sysconfig/network ,hostname 的值修改为demo1,保存退出

2.4 执行命令source /etc/sysconfig/network ,激活文件

3、安装jdk

3.1 拷贝文件,使用winscpjdk文件、Hadoop文件拷贝至/usr/local 文件下

3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk-----

3.3 执行命令mv jdk----   jdk 将文件名修改为jdk

3.4 配置环境变量 执行vi /etc/profile 打开文件profile,并添加

Export JAVA_HOME=/usr/local/jdk

Export PATH=.:$PATH:$JAVA_HOME/bin

3.4 保存关闭后,在shell命令下执行source  /etc/profile 来激活配置文件

3.5 使用JavajavacJava -version来验证是否安装成功

4、关闭防火墙

4.1 执行命令service iptables status 来查看防火墙的状态消息

4.2 执行命令 service iptables stop 来关闭防火墙

4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行

4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置

5、设置SSH免密码登陆

5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下

5.2 执行命令ssh-keygen -t rsa 来创建公钥,ssh-keygen -t  rsa”表示使用 rsa 加密方式生成密钥

5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys

5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下

6、安装Hadoop

6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件

6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop

6.3 修改环境变量 :执行命令 vi  /etc/profile,添加

Export  HADOOP_HOME=/usr/local/hadoop

修改  PATH=.:$HADOOP_HOME/BIN:$JAVA_HOME/BIN:$PATH(在配置环境变量时PATH=.....必须放在最后,否则将无法识别在PATH后面的变量)

2014-08-18

Hdfs文件系统下的命令:

Hadoop fs -ls:显示hdfs下的文件

Hadoop fs -lsr:递归查询hdfs系统下所有的文件

Hadoop fs -mkdir ./d1:hdfs系统的home目录下创建一个文件夹d1

Hadoop fs -put <原路径> <目的路径>:把数据上传到目的路径

Hadoop fs -get <原路径> <目的路径:把数据从原路径下载到目的路径下

Hadoopfs -tetx <文件>:查看文件

Hadoop fs -rm:删除文件

Hadoop fs -rmr :删除目录

<!--EndFragment-->

hadoop安装及配置流程

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和
前面均在windows下进行,但是在安装hadoop过程中出了一些问题,先暂时切换到linux下,回头再补充win
PS:今天上午,非常郁闷,有很多简单基础的问题搞得我有些迷茫,哎,代码几天不写就忘。目前又不当CO
目前hadoop如日中天,只要是涉及到云计算就一定会有hadoop的身影,这是为什么呢?我个人觉得主要是
1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Ha
由于近两年随着互联网的高速发展,产生的数据量也想到惊人,从而产生了对大数据处理的框架,以下是L
1 参考博文 http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2
1.安装软件 OS:centos6.5 Hadoop:hadoop2.6.0 Hbase:hbase.1.0.0 JDK: jdk1.7.0_51 集群机器: 192
本文来自网络整理,原文存在一定的问题,而且有解释不是很清楚以及错误的地方,我在这里进行了详细
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号