当前位置:首页 > 开发 > 开源软件 > 正文

【Hadoop十二】HDFS常用命令

发表于: 2015-04-23   作者:bit1129   来源:转载   浏览:
摘要: 1. 修改日志文件查看器   hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml cat edits.xml   修改日志文件转储为xml格式的edits.xml文件,其中每条RECORD就是一个操作事务日志   2. fsimage查看HDFS中的块信息等 &nb

1. 修改日志文件查看器

 

hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml
cat edits.xml

 

修改日志文件转储为xml格式的edits.xml文件,其中每条RECORD就是一个操作事务日志

 

2. fsimage查看HDFS中的块信息等

 

[hadoop@hadoop current]$  hdfs oiv -i fsimage_0000000000000016539  -o fsimage.fd -p FileDistribution maxSize 1000 step 5
[hadoop@hadoop current]$ cat fsimage.fd
 结果:

 

 

Processed 0 inodes.
Size	NumFiles
0	137
2097152	198
4194304	8
6291456	2
8388608	4
10485760	2
totalFiles = 351
totalDirectories = 283
totalBlocks = 214
totalSpace = 196413302
maxFileSize = 8945561
 

 

3. 查看HDFS上的文件和目录详细信息

 

 

hdfs oiv -i fsimage_0000000000000016539 -p XML -o fsimage.xml
cat fsimage.xml
 

 

 

【Hadoop十二】HDFS常用命令

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Hadoop的HDFS 之前刚搭建好了Linux上的hadoop平台,因为暂时不能组成集群,就去深入了解了下hadoop
扩展性和容错的解决方案 现在已经有了Federation集群,这样就能提供Hadoop大集群的解决方案。不过对
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版
深入Hadoop HDFS 1. hdfs架构简介 1.1 hdfs架构挑战 1.2 架构简介 1.3 文件系统命名空间File System
  HDFS的初识 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 1. 特性: 1.1. 大数据集 运行
【Hadoop】HDFS的运行原理 简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是
转载请注明出处:http://www.cnblogs.com/zhengrunjian/p/4527220.html 所有源码在github上,https:
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号