当前位置:首页 > 开发 > 开源软件 > 正文

【Hive十三】Hive读写Avro格式的数据

发表于: 2015-04-14   作者:bit1129   来源:转载   浏览:
摘要:  1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE

 1. 原始数据

hive> select * from word; 
OK
1	MSN  
10	QQ  
100	Gtalk  
1000	Skype 

 

 

 2. 创建avro格式的数据表

 

hive> CREATE TABLE avro_table(age INT, name STRING)STORED AS AVRO;

 

 

3. 数据表的描述

 

hive> describe avro_table; 
OK
age                 	int                 	from deserializer   
name                	string              	from deserializer   
Time taken: 0.154 seconds, Fetched: 2 row(s)

 

 

 

4. 插入数据

 

hive> INSERT OVERWRITE TABLE avro_table SELECT * FROM word;

 

 

5. 查询

hive> select * from avro_table;
OK
1	MSN  
10	QQ  
100	Gtalk  
1000	Skype 

 

6. HDFS上文件的内容(avro二进制格式)

Objavro.schema?{"type":"record","name":"avro_table","namespace":"default","fields":[{"name":"age","type":["null","int"],"doc":"\u0000","default":null},{"name":"name","type":["null","string"],"default":null}]} 9?$-侭蹈艉{3!
T
MSN  QQ  ?Gtalk  ?Skype   9?$-侭蹈艉{3!

 

 

7.参考

https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

 

 

【Hive十三】Hive读写Avro格式的数据

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
1 Hive
主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如
2 HIVE
HIVE 为什么要选择Hive 基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理
3 hive
hive的设计目的就是让精通sql的分析师能够在facebook存放在hdfs的大规模数据集上进行查询。 hive把s
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [plain] view plain cop
Primitive Data Types --Hive 支持数据类型 Hive supports several sizes of integer and floating-
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: > CREATE EXTERNAL
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: > CREATE EXTERNAL
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [plain] view plain co
  我最近研究了hive的相关技术,有点心得,这里和大家分享下。   首先我们要知道hive到底是做什
我最近研究了hive的相关技术,有点心得,这里和大家分享下。   首先我们要知道hive到底是做什么的
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号