当前位置:首页 > 开发 > 开源软件 > 正文

nutch 集成 hbase

发表于: 2014-06-27   作者:duguyiren3476   来源:转载   浏览次数:
摘要: nutch安装 安装软件准备 安装环境:centos 6.5 nutch:v2.2.1 hbase:v0.94.18 本篇重点讲述nutch的安装和nutch与hbase的集成,hbase的安装请参考其他资料; 安装步骤: 安装ant:因编译nutch源码,需要ant工具,下载apache-ant 设置 系统变量 写道 [hadoop@master nu
nutch安装
安装软件准备
安装环境:centos 6.5
nutch:v2.2.1
hbase:v0.94.18
本篇重点讲述nutch的安装和nutch与hbase的集成,hbase的安装请参考其他资料;
安装步骤:
  1. 安装ant:因编译nutch源码,需要ant工具,下载apache-ant 设置 系统变量
    写道
    [hadoop@master nutch]$ vim /etc/profile
     添加:ANT_HOME=/usr/local/ant 变量,并将AN_HOMT添加到PATH
  2. 下载nutch安装包:http://nutch.apache.org/downloads.html,下载目前最新的apache-nutch-2.2.1-src.tar.gz 
    [hadoop@master nutch]$ wget -P /usr/local/ http://www.apache.org/dyn/closer.cgi/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz
     下载压缩包到/usr/local/目录下,软后解压赋予权限
    [hadoop@master local]$ chmod 777 apache-nutch-2.2.1-src.tar.gz 
    [hadoop@master local]$ tar zxvf apache-nutch-2.2.1-src.tar.gz 
    [hadoop@master local]$ mv apache-nutch-2.2.1 nutch
    [hadoop@master local]$ cd nutch/
     
  3. 修改nutch的conf/nutch-site.xml文件,添加如下代码:
    <property>
    <name>storage.data.store.class</name>
    <value>org.apache.gora.hbase.store.HBaseStore</value>
    <description>Default class for storing data</description>
    </property>
    <property>
    <name>http.agent.name</name>
    <value>Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36</value>
    </property>
     
  4. 修改ivy/ivy.xml文件,找到:
    <dependency org="org.apache.gora" name="gora-hbase" rev="0.3"
    conf="*->default" />
     并把原有的注释去掉 
  5. 修改conf/gola.properies:
    gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
     并注释掉默认的数据库存储配置:
    #gora.sqlstore.jdbc.driver=org.hsqldb.jdbc.JDBCDriver
    #gora.sqlstore.jdbc.url=jdbc:hsqldb:hsql://localhost/nutchtest
    #gora.sqlstore.jdbc.user=sa
    #gora.sqlstore.jdbc.password=
     
  6. ant编译nutch:切换到nutch目录:
    [hadoop@master local]$ cd nutch
    [hadoop@master nutch]$ ant
     编译过程会等待一段时间。
  7. 修改nutch配置文件:在编译nutch源文件前,为了支持hbase存储,需要修改相应的配置:
    #拷贝hbase的配置文件到nutch 
    cp /usr/local/hbase/conf/hbase-site.xml /usr/local/nutch/conf/
     复制hbase的jar包到nutch,本人安装的hbase是hbase0.94.18,nutch自带的gora0.3是只能支持到最高hbase0.92,默认是hbase0.90,而默认的0.90jar包去操作0.94的hbase,导致一个异常:
    java.lang.IllegalArgumentException: Not a host:port pair
     应该是低版本hbase client操作高版本hbase server的常见错误,但也不能直接用0.94的hbase jar包去替换,不然又会导致另一个错误:
    java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HColumnDescriptor.setMaxVersions(I)V
     解决办法:我们选择hbase 0.92 到 0.93之间的版本,首先尝试0.92版本,可以从maven中心库下载:
    http://central.maven.org/maven2/org/apache/hbase/hbase/0.92.2/hbase-0.92.2.jar
     然后将hbase-0.92.2.jar包替换nutch
  8. 设置抓取网址: 编译后切换到目录:
    [hadoop@master nutch]$ cd runtime/local/
    [hadoop@master local]$ mkdir -p urls
    [hadoop@master local]$ vim urls/seed.txt 
     填写seed.txt内容:  http://www.apache.org/  每一行为一个目标地址;并将urls目录放到hdfs文件系统上:
    hadoop fs -copyFromLocal urls /home/hadoop/urls
     
  9. 运行nutch测试:执行nutch inject将网页种子放到hbase中
    [hadoop@master local]$ bin/nutch inject /home/hadoop/urls
    
     查看hbase中表:
    hbase shell
    
    进入到hbaseshell后查看表
    >list
     看到有表“webpage”则表示成功;
  10. 然后一次执行
    [hadoop@master local]$ bin/nutch  generate -topN 3
    [hadoop@master local]$ bin/nutch fetch -all
    
    [hadoop@master local]$ bin/nutch parse -all
    
    [hadoop@master local]$ bin/nutch updatedb
    
     
  11. 切换到hbase shell或使用hbase client查看数据

nutch 集成 hbase

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
一、MySQL配置 1、my.ini配置 找到 [mysqld]在下面添加 skip-grant-tables和character-set-server=u
Lucene和HBase的集成  在所有先进的应用程序中,不管是购物站点还是社交网络乃至风景名胜站点,搜
在所有先进的应用程序中,不管是购物站点还是社交网络乃至风景名胜站点,搜索都扮演着关键的角色。L
在所有先进的应用程序中,不管是购物站点还是社交网络乃至风景名胜站点,搜索都扮演着关键的角色。L
一、下载安装nutch 下载地址 http://apache.fayea.com/apache-mirror/nutch/1.7/apache-nutch-1.7-b
这篇文章是看了HBase权威指南之后,依据上面的解说搬下来的样例,可是略微有些不一样。 HBase与mapr
再上一章中我们已经学习了 Hadoop-1.0.3集成Hive-0.8.1,在这一章节我们来学习一下如何配置Hbase-0.
在之前的 CentOS 5.4 hadoop集成 Hbase和 CentOS 5.4 hadoop集成Hive两个章节中,我们已经学习了如
Hive部署(包括集成Hbase和Sqoop) 1 安装环境 1.1 系统环境 主要是选择软件版本。 Hadoop 1.0.3 Hb
Hive部署(包括集成Hbase和Sqoop) 1 安装环境 1.1 系统环境 主要是选择软件版本。 Hadoop 1.0.3 Hb
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号