当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop和hbase lzo压缩

发表于: 2015-03-25   作者:blackproof   来源:转载   浏览次数:
摘要: 配置hadoop lzo   一、下载、解压并编译lzo包 1 [wyp@master ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 2 [wyp@master ~]$ tar -zxvf lzo-2.06.tar.gz 3 [wyp@master ~]$ cd lzo

配置hadoop lzo

 

一、下载、解压并编译lzo包

1	[wyp@master  ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 
2	[wyp@master  ~]$ tar -zxvf lzo-2.06.tar.gz 
3	[wyp@master  ~]$ cd lzo-2.06 
4	[wyp@master  ~]$ export CFLAGS=-m64 
5	[wyp@master  ~]$ ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
6	[wyp@master  ~]$ make && sudo make install

 

编译完lzo包之后,会在/usr/local/hadoop/lzo/生成一些文件,目录结构如下:

1	[wyp@master  /usr/local/hadoop/lzo]$ ls -l 
2	total 12 
3	drwxr-xr-x 3 root root 4096 Mar 21 17:23 include 
4	drwxr-xr-x 2 root root 4096 Mar 21 17:23 lib 
5	drwxr-xr-x 3 root root 4096 Mar 21 17:23 share

  将/usr/local/hadoop/lzo目录下的所有文件打包,并同步到集群中的所有机器上。(我没这么做)

   在编译lzo包的时候,需要一些环境,可以用下面的命令安装好lzo编译环境

 

1	[wyp@master  ~]$ yum -y install  lzo-devel     \ 
2	               zlib-devel  gcc autoconf automake libtool

 

二、安装Hadoop-LZO

 这里下载的是Twitter hadoop-lzo,可以用Maven(如何安装Maven请参照本博客的《Linux命令行下安装Maven与配置》)进行编译。

1	[wyp@master  ~]$ wget https://github.com/twitter/hadoop-lzo/archive/master.zip

 下载后的文件名是master,它是一个zip格式的压缩包,可以进行解压:

1	[wyp@master  ~]$ unzip master

 hadoop-lzo中的pom.xml依赖了hadoop2.1.0-beta,由于我们这里用到的是Hadoop 2.2.0,所以建议将hadoop版(我用的2.3,2.4,2.5也可以用)

1	<properties> 
2	    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
3	    <hadoop.current.version>2.2.0</hadoop.current.version> 
4	    <hadoop.old.version>1.0.4</hadoop.old.version> 
5	  </properties>

 然后进入hadoop-lzo-master目录,依次执行下面的命令

01	[wyp@master  hadoop-lzo-master]$ export CFLAGS=-m64 
02	[wyp@master  hadoop-lzo-master]$ export CXXFLAGS=-m64 
03	[wyp@master  hadoop-lzo-master]$ export C_INCLUDE_PATH=     \ 
04	                                  /usr/local/hadoop/lzo/include 
05	[wyp@master  hadoop-lzo-master]$ export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
06	[wyp@master  hadoop-lzo-master]$ mvn clean package -Dmaven.test.skip=true 
07	[wyp@master  hadoop-lzo-master]$ cd target/native/Linux-amd64-64 
08	[wyp@master  Linux-amd64-64]$ tar -cBf - -C lib . | tar -xBvf - -C ~ 
09	[wyp@master  ~]$cp ~/libgplcompression* $HADOOP_HOME/lib/native/  
10	[wyp@master  hadoop-lzo-master]$cp target/hadoop-lzo-0.4.18-SNAPSHOT.jar   \ 
11	                                   $HADOOP_HOME/share/hadoop/common/

 其中~目录下的libgplcompression.so和libgplcompression.so.0是链接文件,指向libgplcompression.so.0.0.0,将刚刚生成的libgplcompression*和target/hadoop-lzo-0.4.18-SNAPSHOT.jar同步到集群中的所有机器对应的目录(这个同步是必须的,否则或找不到jar包和执行错误)

配置hadoop

添加到maper-site.xml

<property>
    <name>mapred.compress.map.output</name>
        <value>true</value>
 </property>
 <property>
    <name>mapred.map.output.compression.codec</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
 </property>
 <property>
       <name>mapred.child.env</name>
       <value>LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib</value>
</property>

添加到core-site.xml

<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
         <name>io.compression.codec.lzo.class</name>
         <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

 

使用LZO压缩

1.mr输出压缩文件:

	    Configuration conf = new Configuration();
		conf.set("mapred.output.compression.codec", "com.hadoop.compression.lzo.LzopCodec");
		conf.set("mapred.output.compress", "true");

 

2.hive创建压缩表

 CREATE EXTERNAL TABLE test(
  key string , 
  params string , )
row format delimited fields terminated by '\t'
collection items terminated by ','
lines terminated by '\n'
STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/user/hive/warehouse/dirk.db/test';

 

配置hbase lzo

hadoop-lzo-0.4.18-SNAPSHOT.jar放入$HBASE_HOME/lib下,需要重启hbase

创建hbase表

create 'test',{NAME=>'f',COMPRESSION=>'LZO'}

 

alter 'dirktt',{NAME=>'f',COMPRESSION=>'LZO'}

 

 

结束

转 http://my.oschina.net/u/1169079/blog/225070

 

hadoop和hbase lzo压缩

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
LZO性能 编译LZO 下载: http://www.oberhumer.com/opensource/lzo/download/ wget http://www.ober
自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文
转自:http://www.tech126.com/hadoop-lzo/ 自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩
自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文
自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文
自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩 当时,我对gzip压缩过的文件和原始的log文
作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cn
在hadoop领域,上T数据的存储和处理是非常常见的。不同的存储格式和压缩组合能为存储和性能带来效率
1、hbase压缩与编码的配置 安装LZO 解决方案: 1)apt-get install liblzo2-dev 2)hadoop-gpl-compr
1.安装软件 OS:centos6.5 Hadoop:hadoop2.6.0 Hbase:hbase.1.0.0 JDK: jdk1.7.0_51 集群机器: 192
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号