当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop hdfs读写

发表于: 2014-07-20   作者:blackproof   来源:转载   浏览次数:
摘要: hadoop hdfs读写   hdfs读取文件 1.FSDataInputStream,open创建输入流,建立与nameNode的连接 2.调用getBlockLoction获得hdfs文件的数据块位置 3.FSDataInputStream, read根据数据块位置,建立与datanode的连接,读取数据块 4.在读取到数据块末端的时候,关闭与datanode的连接

hadoop hdfs读写

 

hdfs读取文件

1.FSDataInputStream,open创建输入流,建立与nameNode的连接

2.调用getBlockLoction获得hdfs文件的数据块位置

3.FSDataInputStream, read根据数据块位置,建立与datanode的连接,读取数据块

4.在读取到数据块末端的时候,关闭与datanode的连接

5.重复2,3,4,直到文件读取完成,调用close关闭nameNode的连接

 

 

hdfs写入文件

1.FSDataOutputStream,create创建输出流,创建于nameNode的连接,创建空文件

2.addBlock申请数据块,返回LocatedBlock对象(包括LocatedBlock.locs提供数据流管道),对dataNode建立连接

3.write方法,就数据写入,数据被分成文件包存在dfsoutputstream队列中,数据包,发送到管道

4.dataNode之间传送数据包,实例化到本地,心跳nameNode blockReport上报数据块信息,兵反向发送确认包

5.client端收到确认包,从队列中删除文件包

6.当数据写完,close关闭与datanode的连接,文件包都收到了确认包,就complete关闭namenode连接

 

 

 

 

hadoop hdfs读写

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
此文假设您已经安装好了Hadoop2.5.0,下面开始着手编写程序,所需依赖jar包: hadoop-common-2.5.0.
HDFS读流程 读流程详细步骤: HDFS客户端将要读取的HDFS文件封装成DistributedFileSystem对象,然后
HDFS读流程 读流程详细步骤: HDFS客户端将要读取的HDFS文件封装成DistributedFileSystem对象,然后
HDFS读流程 读流程详细步骤: HDFS客户端将要读取的HDFS文件封装成DistributedFileSystem对象,然后
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析 3.1 基本概念 HDFS采用了主从 (
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析 3.3 namenode (1)FSDirectory
第五部分:HDFS负载均衡 HDFS的数据也许并不是非常均匀的分布在各个DataNode中。一个常见的原因是在
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析 3.4 datanode数据结构 与Storage
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》 本书由腾讯数据平台的资深Had
mark之,后续该好好研究下HDFS了。 PS:准备要小孩了,从2015-6-1开始每天晚上绕百家湖跑步一圈。 --
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号