当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hbase bulkloader实例入门

发表于: 2014-06-03   作者:blackproof   来源:转载   浏览:
摘要: 一、使用mr生成对应hbase table的hfile maper中写入库逻辑,reduce是用hbase自带的,outputformat用的是hfileoutputformat     Configuration conf = new Configuration(); J

一、使用mr生成对应hbase table的hfile

maper中写入库逻辑,reduce是用hbase自带的,outputformat用的是hfileoutputformat

 

 

                        Configuration conf = new Configuration();
                        Job jobAfter = new Job(conf2);
                        jobAfter.setJarByClass(Test.class);
                        jobAfter.setMapperClass(LogicMapper.class);//在mapper中写业务逻辑
                        jobAfter.setMapOutputKeyClass(ImmutableBytesWritable.class);//只能是ImmutableBytesWritable类
                        jobAfter.setMapOutputValueClass(Put.class);//只能是put或keyvalue类型
                        FileOutputFormat.setOutputPath(jobAfter, new Path("/user/hadoop/bulkload/data"));
                        jobAfter.setOutputFormatClass(HFileOutputFormat.class);
                        HTable table=new HTable(conf,conf.get("tableName"));
                        HFileOutputFormat.configureIncrementalLoad(jobAfter, table);//根据map输出key和value设置reduce class;根据htable的region数,设置reduce数
                        jobAfter.waitForCompletion(true);

 

 

 

 

二、

将hfile导入到hbase中 

hadoop jar hbase-VERSION.jar completebulkload hdfs://localhost:8020/user/hadoop/bulkload/data testtable

 

bulkload实例二

当hbase集群和hadoop(跑MR的)集群不在一起时,就需要知道zk ip和port了

第一步

生成hfile的时候,需要hbase-site位置,里边有zk的ip和port

 

第二步

 

 

hadoop jar /home/q/hadoop/hbase-0.98.0-hadoop2/lib/hbase-server-0.98.0-hadoop2.jar  completebulkload  -Dhbase.zookeeper.quorum=192.168.xx.xx -Dhbase.zookeeper.property.clientPort=2181 hdfs://192.168.xxx.xxx:8020/user/hadoop/wfdata/testoutput xxx_table
 

 

 

192.168.xx.xx这是zk的ip 2181是zk的port

 

192.168.xxx.xxx这是hdfs上hfile的位置

 

 

 

hbase bulkloader实例入门

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号