当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop secondnamenode配置

发表于: 2014-02-28   作者:blackproof   来源:转载   浏览次数:
摘要:    一、secondnamenode是做什么的      The Secondary Namenode is a helper to the primary Namenode. The Secondary is responsible for supporting periodic checkpoints of the HDFS m

   一、secondnamenode是做什么的

    

 The Secondary Namenode is a helper to the primary Namenode.
 The Secondary is responsible for supporting periodic checkpoints
 of the HDFS metadata. The current design allows only one Secondary
 Namenode per HDFs cluster.

 The Secondary Namenode is a daemon that periodically wakes
 up (determined by the schedule specified in the configuration),
 triggers a periodic checkpoint and then goes back to sleep.
 The Secondary Namenode uses the ClientProtocol to talk to the
 primary Namenode.

 

 

 

   二、将hadoop的namenode和secondnamenode分离在不同的服务器上

   

   1. master

    将secondnamenode的ip配置在master中

   2.hdfs-site.xml

      将namenode配置在hdfs-site.xml中

<property> 
  <name>dfs.http.address</name> 
  <value>slave-01:50070</value> 
  <description> 
    The address and the base port where the dfs namenode web ui will listen on. 
    If the port is 0 then the server will start on a free port. 
  </description> 
</property>

    3.core-site.xml

<property> 
  <name>fs.checkpoint.period</name> 
  <value>3600</value> 
  <description>The number of seconds between two periodic checkpoints. 
  </description> 
</property>

<property> 
  <name>fs.checkpoint.size</name> 
  <value>67108864</value> 
  <description>The size of the current edit log (in bytes) that triggers 
       a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
  </description> 
</property>

    fs.checkpoint.period表示多长时间记录一次hdfs的镜像

    fs.checkpoint.size表示一次记录多大的size,默认64M

 

 

 

 

 

 

 

hadoop secondnamenode配置

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
环境如下: Ubuntu 12.04.2 LTS hadoop-1.0.3 1、 安装jdk sudo apt-get install openjdk-7-jdk 2、
三、配置Hadoop 1、设置$HADOOP_HOME/conf/hadoop-env.sh 这个文件中设置的是Hadoop运行时需要的环
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和
1.Ubuntu下用命令 (自动下载并安装) $ sudo apt-get install ssh $ sudo apt-get install rsync 2.r
通常我们可以用Eclipse作为Hadoop程序的开发平台。 1) 下载Eclipse 下载地址:http://www.eclipse.
前面均在windows下进行,但是在安装hadoop过程中出了一些问题,先暂时切换到linux下,回头再补充win
Exception in thread "main" java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobCl
1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Ha
1.Hadoop2.0简述[1] 与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。这里给出
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号