当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop hdfs读写

发表于: 2014-07-20   作者:blackproof   来源:转载   浏览:
摘要: hadoop hdfs读写   hdfs读取文件 1.FSDataInputStream,open创建输入流,建立与nameNode的连接 2.调用getBlockLoction获得hdfs文件的数据块位置 3.FSDataInputStream, read根据数据块位置,建立与datanode的连接,读取数据块 4.在读取到数据块末端的时候,关闭与datanode的连接

hadoop hdfs读写

 

hdfs读取文件

1.FSDataInputStream,open创建输入流,建立与nameNode的连接

2.调用getBlockLoction获得hdfs文件的数据块位置

3.FSDataInputStream, read根据数据块位置,建立与datanode的连接,读取数据块

4.在读取到数据块末端的时候,关闭与datanode的连接

5.重复2,3,4,直到文件读取完成,调用close关闭nameNode的连接

 

 

hdfs写入文件

1.FSDataOutputStream,create创建输出流,创建于nameNode的连接,创建空文件

2.addBlock申请数据块,返回LocatedBlock对象(包括LocatedBlock.locs提供数据流管道),对dataNode建立连接

3.write方法,就数据写入,数据被分成文件包存在dfsoutputstream队列中,数据包,发送到管道

4.dataNode之间传送数据包,实例化到本地,心跳nameNode blockReport上报数据块信息,兵反向发送确认包

5.client端收到确认包,从队列中删除文件包

6.当数据写完,close关闭与datanode的连接,文件包都收到了确认包,就complete关闭namenode连接

 

 

 

 

hadoop hdfs读写

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号