当前位置:首页 > 开发 > 操作系统 > 正文

linux快速删除大量小文件方法

发表于: 2015-05-02   作者:cfyme   来源:转载   浏览次数:
摘要: 转载地址:http://blog.csdn.net/cywosp/article/details/8285842   当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。   &nb

转载地址:http://blog.csdn.net/cywosp/article/details/8285842

 

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

    1. rsync安装,有些系统默认安装有该命令

ubuntu系统:sudo apt-get install rsync

fedora 系统:sudo yum install rsync

其他的可以源码安装,到下面的网站下载

http://rsync.samba.org

 

    2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete

     --del                                an alias for --delete-during

     --delete                          delete extraneous files from destination dirs

     --delete-before             receiver deletes before transfer, not during

     --delete-during             receiver deletes during transfer (default)

     --delete-delay               find deletions during, delete after

     --delete-after                receiver deletes after transfer, not during

     --delete-excluded        also delete excluded files from destination dirs

     --ignore-errors             delete even if there are I/O errors

     --max-delete=NUM    don't delete more than NUM files

其中--delete-before接收者在传输之前进行删除操作

 

    3. 示例

清空目录或文件,如下: 

1、先建立一个空目录 

mkdir /data/blank 

2、用rsync删除目标目录 

rsync --delete-before -d -a -H -v --progress --stats /data/blank/ /var/edatacache/

或者

rsync --delete-before -d /data/blank/ /var/edatacache/

 

这样/var/edatacache目录就被快速的清空了。

 

选项说明:

–delete-before 接收者在传输之前进行删除操作

–progress          在传输时显示传输过程

-a                       归档模式,表示以递归方式传输文件,并保持所有文件属性

-H                      保持硬连接的文件

-v                       详细输出模式

–stats                给出某些文件的传输状态

-d                      transfer directories without recursing

 

3、也可以用来删除大文件

假如我们在/root/下有一个几十G甚至上百G的文件data,现在我们要删除它

一、创建一个空文件

    touch /root/empty

二、用rsync清空/root/data文件

    rsync --delete-before -d --progess --stats /root/empty /root/data

 

 

注意:

当SRC和DEST文件性质不一致时将会报错 

当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件 

当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录 

 

linux快速删除大量小文件方法

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Hadoop处理大量小文件的问题和解决方法 小文件指的是那些size比HDFS的block size(默认64M)小的多的
前段时间遇到一个问题,系统的一个文件夹下产生了大量的日志文件,无法使用 rm -rf 全部删除 执行 r
前段时间遇到一个问题,系统的一个文件夹下产生了大量的日志文件,无法使用 rm -rf 全部删除 执行 r
前段时间遇到一个问题,系统的一个文件夹下产生了大量的日志文件,无法使用 rm -rf 全部删除 执行 r
前段时间遇到一个问题,系统的一个文件夹下产生了大量的日志文件,无法使用 rm -rf 全部删除 执行 r
使用 使用使用 使用 HDFS 保存大量小文件的缺点: 1.Hadoop NameNode 在内存中保存所有文件的“元信
1、命令行下取得每个文件的md5值,输出到csv文件(cygwin中有md5sum工具); E:\photo> md5sum *
使用Excel快速发送大量的电子邮件。两个步骤: 1. 准备发送数据: a.) 打开Excel,新Book1.xlsx b.)
描述如何快速保存ListView内存中大量数据到Excel的WorkSheet。关键之处是使用Range一次存储多行多列
要求在产品中预装大量的第三方app,apk文件有600M多,加上相关资源文件,共计4G。 如何把如此多的文件
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号