当前位置:首页 > 开发 > 开源软件 > 正文

【Hadoop二】Hadoop常用命令

发表于: 2014-11-29   作者:bit1129   来源:转载   浏览:
摘要: 以Hadoop运行Hadoop自带的wordcount为例,   hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop,需要说明的是,这些命令的使用必须在Hadoop已经运行的情况下才能执行   Hadoop HDFS相关命令  hadoop fs -ls  列出HDFS文件系统的第一级文件和第一级

以Hadoop运行Hadoop自带的wordcount为例,

 

hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop,需要说明的是,这些命令的使用必须在Hadoop已经运行的情况下才能执行

 

Hadoop HDFS相关命令

  •  hadoop fs -ls

 列出HDFS文件系统的第一级文件和第一级目录,如:

 

hadoop@hadoop-Inspiron-3521:~/hadoop-2.5.2/bin$ ./hadoop fs -ls
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2014-11-24 23:13 QuasiMonteCarlo_1416841948675_1031539484
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:37 input
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 09:54 out
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:44 out1
drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:38 output

 其中input目录是上传文本的目录(文本中包含了要统计的单词),out,out1和output是输出目录,

 

  • hadoop fs -ls ./input/*

列出input目录下的所有内容

 

 

 * 文件操作
 * 查看目录文件
 * $ hadoop dfs -ls /user/cl
 *
 * 创建文件目录
 * $ hadoop dfs -mkdir /user/cl/temp
 *
 * 删除文件
 * $ hadoop dfs -rm /user/cl/temp/a.txt
 *
 * 删除目录与目录下所有文件
 * $ hadoop dfs -rmr /user/cl/temp
 *
 * 上传文件
 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp
 *
 * 下载文件
 * 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
 * $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl
 *
 * 查看文件
 * $ hadoop dfs –cat /home/cl/hdfs.txt

 

 

 

 

【Hadoop二】Hadoop常用命令

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
【Hadoop常用命令】 一、 fsck:hdfs文件系统集群状态检测。 使用方式:./hadoop fsck <path>
【Hadoop常用命令】 一、 fsck:hdfs文件系统集群状态检测。 使用方式:./hadoop fsck <path>
【Hadoop常用命令】 一、 fsck:hdfs文件系统集群状态检测。 使用方式:./hadoop fsck <path>
目录[-] 1.start-all.sh开启线程 2. -ls/-lsr 查看目录下的文件信息 3. –touchz 创建文件 4. –mkd
HDFS有一个默认的工作目录/user/$USER,其中$USER是你的登陆用户名。 创建并查看目录 查看所有子目录
前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务
7 Hadoop
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有
8 Hadoop
《Hadoop: The Definitive Guide》reading notes: This, in a nutshell, is what Hadoop provides:
9 Hadoop
《Hadoop: The Definitive Guide》reading notes: This, in a nutshell, is what Hadoop provides:
倒排索引是文档检索系统中最常用到的数据结果,应用于搜索引擎,根据内容来查找文档的一种方式。进
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号