当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop在linux上单机安装过程

发表于: 2015-04-20   作者:_wy_   来源:转载   浏览:
摘要: 1、安装JDK     jdk版本最好是1.6以上,可以使用执行命令java -version查看当前JAVA版本号,如果报命令不存在或版本比较低,则需要安装一个高版本的JDK,并在/etc/profile的文件末尾,根据本机JDK实际的安装位置加上以下几行:    export JAVA_HOME=/usr/java/jdk1.7.0_25  

1、安装JDK

    jdk版本最好是1.6以上,可以使用执行命令java -version查看当前JAVA版本号,如果报命令不存在或版本比较低,则需要安装一个高版本的JDK,并在/etc/profile的文件末尾,根据本机JDK实际的安装位置加上以下几行:

   export JAVA_HOME=/usr/java/jdk1.7.0_25
   export PATH=$JAVA_HOME/bin:$PATH
   export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

2、下载hadoop并解压、移动

    hadoop.tar.gz安装

    上http://www.apache.org/dyn/closer.cgi/hadoop/common/可以选择自己想要的版本,我是用wget命令直接将hadoop下载下来:

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

    --解压文件,并将解压的文件夹重命名为/opt/hadoop,执行以下命令:

    tar -xvf hadoop-1.1.2.tar.gz

    mv hadoop-1.1.2 /opt/hadoop

    hadoop1.2.1_1.rpm安装

 

 

3、修改/opt/hadoop/conf文件夹下的4个配置文件

   a) hadoop-env.sh ,在该文件的末尾根据JDK安装目录增加以下几行:

       export JAVA_HOME=/usr/java/jdk1.7.0_25
       export HADOOP_HOME=/opt/hadoop
       export PATH=$PATH:/opt/hadoop/bin

   b)core-site.xml ,用以下配置替换文件内容

      <configuration>
        <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/tmp/hadoop/hadoop-${user.name}</value>
        </property>
     </configuration>

   c) hdfs-site.xml,用以下配置替换文件内容 ,因为单机,所以设置文件只要保存1份,系统默认是3份:


      <configuration>
         <property>
            <name>dfs.replication</name>
            <value>1</value>
         </property>
      </configuration>

    d) mapred-site.xml,用以下配置替换文件内容

        <configuration>
          <property>
               <name>mapred.job.tracker</name>
              <value>localhost:9001</value>
          </property>
       </configuration>

4、执行hadoop环境设置,并格式化hadoop文件系统,执行以下命令

      cd /opt/hadoop

      source conf/hadoop-env.sh

      hadoop namenode -format

5、最后一步:设置ssh免密登陆本机,执行以下命令:

      ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了

      cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

     安全起见,你可以退出linux再以root登陆进来一下,我是没做这个步骤

6、启动hadoop,执行以下命令:

     cd /opt/hadoop

     ./bin/start-all.sh

7、测试hadoop文件系统

     在hadoop上创建文件夹,并上传一个文件,执行以下测试命令:

      hadoop fs -mkdir testfolder 创建文件夹

      hadoop fs -ls 列出hadoop文件列表

      hadoop fs -put /opt/hadoop/*.txt /user/root/testfolder 我把hadoop目录下的所有txt文件上传到hadoop的文件系统里头去

       hadoop fs -ls /user/root/testfolder 查看上传的文件列表

8、hadoop还有一个web管理控制台,可以通过http://liunxip地址:50030/来访问

hadoop在linux上单机安装过程

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Hadoop是一个用Java编写的用于运行与物理集群中的框架,吸收了GFS和mapreduce编程模型的特性。Hadoo
转自: http://blog.csdn.net/dragon_fire/article/details/7587226 下载完之后,命令行输入:tar -
转自:http://www.powerxing.com/install-hadoop/ 这是比较详细的手把手的教程了.我安装时,修改安装
简介 最近在工作中需要对一些日志做分析,于是调研了一些日志记录和分析处理的工具。后面选择了ELK
刚开始学习Hadoop,看到这篇文章不错,按文章里的步骤安装调试成功,其中有些地方有改动。 一.安装u
其实,使用Cygwin模拟Linux环境来运行Hadoop是非常轻松的,只需要简单地配置一下就可以运行基于单机
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了
前言: 笔者目前是在做Android开发,又是在一个信息安全的公司。公司的主要是做在虚拟机上运行的产
最近由于工作的需要,一直在于ubuntu打交道。实验室全用这个系统,我的Windows都被微软提示要过期了
转自:http://blog.csdn.net/hitwengqi/article/details/8008203 首先要了解一下Hadoop的运行模式:
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号