Hadoop Shell命令-(spark学习前奏)

     有时候感觉自己就像一只瘦小的绵羊,被放在了一片无边无际的草原上,这里的小草丰腴而鲜美,面对着唾手可得的美味,只能默默的叹息,自己的胃是辣么辣么的小,啃呀啃呀消化不了,什么时候才能啃完,才能消化完,去外面的世界看一看呢?!

     机器学习领域就像这片大草原一样,需要学习的东西太多太多,有时候好希望自己有魔法,魔法棒挥动之后,深度学习、spark等等各种算法各种工具我就都使用自如啦!然而现实是我经常被人鄙视,这也不会,那也不懂!想着那就学习起来吧,但是无奈于时间,无奈于自己的脑袋已经运转的不那么快了(或许自己的脑袋一直是运转这个速度吧),只能叹息一声,继续的望着那些大牛的背影而不敢有任何的造次!

     还是言归正传吧,因为人生还得继续,同时还得愉快的继续,只能给自己以乐观的心态,学习一点是一点咯!怎么样我就是这也不会那也不懂,哼,我要是什么都会什么都懂,我还在这里,拿着这点靠近个税起征点的工资嘛!哼哼。

    最近想用spark实现基于用户/物品的协同过滤算法,数据量大起来还得靠spark啊,单机python跑几个月的数据就很耗时啦!所以还是想着写个通用的,以后只要改变输入数据就可以输出相关商品的这种,其实同事马云龙有写了一套,基于scala的吧,应该是,虽然发给我了,但是里面涉及的内容太多,又不想去打扰他,问输入数据格式,云龙同学自带小宇宙,小宇宙的气场就是生人勿近,但是感觉内心应该也是很温暖的孩子!正好趁这个机会把pyspark学习下,起码入个门吧!加油!加油!加油!

     想用spark就得先把数据从本地薅到hdfs文件系统中去,hadoop shell 命令就去关注了下,在这里总结一下常用的,下面的连接是最全的,如果不想听我的废话,可以直接看网址  http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#putlink

Hadoop Shell命令

      

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout

这段的意思就是:这个命令对本地文件系统和hdfs文件系统都通用,只要改变后面的目录就可以做到。一般的本地目录:file:/// ,hdfs目录:hdfs://

1.hadoop fs -ls

若args为文件,则返回文件名、文件大小、修改日期、修改时间、权限、用户ID、组ID等信息吧(可以查看完整的URI信息)

hadoop fs -ls  file:///home/dmpuser/liuhua/code/sparkTest/README.md

hadoop fs -ls  hdfs:///user/dmpuser/liuhua/words.txt

若args为文件夹,则返回它直接子文件的一个列表,就像在Unix中一样。

hadoop fs -ls  hdfs:///user/dmpuser/liuhua/

hadoop fs -ls  file:///home/dmpuser/liuhua/code/sparkTest

2.hadoop fs -cat URI

这个是对文件操作,将指定的路径下的文件内容输出到stdout(标准输出框)中

hadoop fs -cat  hdfs:///user/dmpuser/liuhua/words.txt

hadoop fs -cat  file:///home/dmpuser/liuhua/code/sparkTest/README.md

3.hadoop fs -put ...

从哪个本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统

hadoop fs -put /home/dmpuser/liuhua/code/sparkTest/README.md /home/dmpuser/liuhua/code/sparkTest/wordcount.py hdfs:///user/dmpuser/liuhua

若在/home/dmpuser/liuhua/code/sparkTest/这个目录下输入该命令,可以省去本地文件目录的标注

hadoop fs -put README.md wordcount.py hdfs:///user/dmpuser/liuhua

hadoop fs -copyFromLocal URI

除了限定源路径是本地文件外,和put命令相似

4.hadoop fs -get [-ignorecrc] [-crc]

复制文件到本地文件系统,可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

hadoop fs -get hdfs:///user/dmpuser/liuhua/words.txt /home/dmpuser/liuhua/code/sparkTest

若在/home/dmpuser/liuhua/code/sparkTest/这个目录下输入该命令,可以省去本地文件目录的标注,如下:

hadoop fs -get hdfs:///user/dmpuser/liuhua/words.txt 

hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

除了限定目标路径是本地文件外,和get命令类似

5.hadoop fs -cp URI [URI …]

将hdfs文件从源路径复制到目标路径,此时目标路径必须是一个目录(该复制只针对hdfs系统内部复制)

hadoop fs -cp hdfs:///user/dmpuser/liuhua/words.txt hdfs:///user/dmpuser/

6.hadoop fs -mkdir  

接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。

示例:

  • hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
  • hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir     

7.hadoop fs -mv URI [URI...]

将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。 
示例:

  • hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
  • hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
8.haddoop fs -mkdir

接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。

示例:

  • hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
  • hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

9.hadoop fs -du URI [URI …]

显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1 

10.hadoop fs -rm URI [URI …]

删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。
示例:

  • hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

11.hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项,行为和Unix中一致。

示例:

  • hadoop fs -tail pathname

12.hadoop fs -test -[ezd] URI

选项:
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。 
-d 如果路径是个目录,则返回1,否则返回0。

示例:

  • hadoop fs -test -e filename

13.hadoop fs -text  

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

14.hadoop fs -chgrp [-R] GROUP URI [URI …]

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户

15.hadoop fs -chmod [-R] URI [URI …]

改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

16.hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

17.hadoop fs -expunge

清空回收站。

18.hadoop fs -getmerge [addnl]

接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addnl是可选的,用于指定在每个文件结尾添加一个换行符。

19.hadoop fs -touchz URI [URI …] 

创建一个0字节的空文件。

示例:

  • hadoop -touchz pathname
hadoop fs ,hadoop dfs ,hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广,可以操作所有的文件系统; hadoop dfs ,hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

你可能感兴趣的