1. 压缩比:压缩前与压缩后的文件所占用的磁盘空间大小。
2. “压缩”与“解压缩”的操作有什么好处呢?
最大的好处就是压缩过的文件变小了,所以你的硬盘无形之中就可以容纳更多的数据。此外,在一些网络数据的传输中,也会由于数据量的降低,好让网络带宽可以用来做更多的工作。
3. linux系统中,几个常见的压缩文件案扩展名:
· *.Z compress程序压缩的文件;
· *.gz gzip程序压缩的文件;
· *.bz2 bzip2程序压缩的文件;
· *.tar tar程序打包的数据,并没有压缩过;
· *.tar.gz tar程序打包的数据,并经过gzip的压缩;
· *.tar.bz2 tar程序打包的数据,并经过bzip2的压缩;
4. linux系统中几个常见的压缩命令:
(1) *.Z文件使用compress命令如下:
[root@***~]#compress [-rcv] 文件或目录 //这是压缩;
[root@***~]#uncompress 文件.Z //这是解压;
(2)*.gzip的压缩与解压缩命令如下:
[root@***~]#gzip [-cdtv#] 文件名
参数:
-c:将压缩的数据输入到屏幕上,可通过数据流重定向来处理;
-d:解压缩的参数;
-t:可以用来检验一个压缩文件的一致性,看看文件有无错误;
-v:可以显示出原文件/压缩文件的压缩比等信息;
-#:压缩等级,-1最快,但压缩比最差,-9最慢,但是压缩比最好默认是-6;
(3)*.bzip2的压缩与解压缩命令如下:
[root@***~]#bzip2 [-cdkzv#] 文件名
参数:
-c:将压缩过程中产生的数据输出到屏幕上;
-d:解压缩的参数;
-k:保留原文件,而不会删除原始的文件;
-z:压缩的参数;
-v:可以显示出原文件/压缩文件的压缩比等信息;
-#:与gzip同样的,都是在计算压缩比的参数,-9最佳,-1最快;
(4)使用tar只要记忆下面的方式即可:
· 压缩:tar -jcv -f filename.tar.bz2 要被压缩的文件或目录名称;
· 查询:tar -jtv -f filename.tar.bz2
· 解压:tar -jxv -f filename.tar.bz2 -C 欲解压的目录;
5. 完整备份工具:mp
[root@***~]#mp [-Suvj] [-level] [-f 备份文件] 待备份数据
[root@***~]#mp -W
参数:
-S:仅列出后面的备份数据需要多少磁盘空间才能够备份完毕;
-u:将这次的mp的时间记录到/etc/mpdateS文件中;
-v:将mp的文件过程显示出来;
-j:加入bzip2的支持,将数据进行压缩,默认bzip2的压缩等级为2;
-level:就是我们要谈的等级,有0~9共10个等级;
-f:有点类似tar,后面接产生的文件,可接例如/dev/st0设备文件名等;
-W:列出在/etc/fstab里面的具有mp设置的分区是否有备份过;
6. mp的恢复需要使用restore命令:
[root@***~]#restore -t [-f mpfile] [-h] //用来查看mp文件;
[root@***~]#restore -C [-f mpfile] [-D 挂载点] //比较mp与实际文件;
[root@***~]#restore -i [-f mpfile] //进入互动模式;
[root@***~]#restore -r [-f mpfile] //还原整个文件系统;
7. 其他常见的压缩与备份工具:
[root@***~]#dd if=/dev/hdclof=/tmp/boot.whole.disk
可以认为:tar用来备份关键数据,而dd则可以用来备份整个磁盘分区或整块磁盘。
[root@***~]#cpio -ovcB > [file|device] //备份;
[root@***~]#cpio -ivc < [file|device] //还原;
[root@***~]#cpio -ivct <[file|device] //查看;
可以认为:cpio可以备份任何东西,包括设备文件。不过必须要搭配类似find命令来读取欲备份的文件名数据,才可进行备份操作。
❷ Linux删除文件内重复行
第一,用sort+uniq,注意,单纯uniq是不行的。
第码纳二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
第三,用sort+sed命令,同样需要sort命迟裂没令先排序。
以源肢上原理都是上下行比对,如果中间开了几行,uniq就不生效
例如:
111
222
111
是不能正确排序的,必须是:
111
111
222
uniq才会生效,所以都需要先用sort 来排序,然后将结果输出到其他文件。
❸ Linux下,我想用shell 写一个重复文件删除脚本,我现在没有好的思想和逻辑去实现它,谁能给我出谋划策啊
我觉得可以向前靠点
不要去比对文件是否重复
在备份时就应该将之前的删除
而且有改动才备份
这样比较容易些
❹ linux清理磁盘空间
linux怎么清理磁盘空间呢,下面就让我们来看看吧。❺ LINUX下去除文件中重复的行
比如你/etc/passwd文件中有重复的行,执行如下指令清除:
cat /etc/passwd | sort -u > /tmp/passwd
这样/tmp/passwd中就没有重复的行了
❻ 在linux下怎么删除重复的文件
用uniq,如下派敏,将
1.txt
中
所有
"相邻"
重燃此复行合并成一行,尘段枝结果存入
2.txt
uniq
1.txt
>
2.txt如果是想将相邻重复行彻底删掉(而不是合并成一行),可以用
uniq
-u
1.txt
>
2.txt
❼ 请简述windows或linux系统中如何使文件能更快速的打开又不会被重复的复制占用磁盘空间。
建立链接(Linux)
当我烂罩们需要在不同饥模闹的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个码袭必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间。例如:ln –s /bin/less /usr/local/bin/less
❽ 怎样在Linux上找出和删除重复文件
对于大多数计算机用户而言,查找茄庆并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作,它耗时又耗力。但如果你的机器上跑着GNU/Linux,那么查找重复文件会变得十分简单,这多亏了fpes工具。 fpes是啥东东? fpes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查找重复的文件。fpes通过对比文件的MD5签名,以及逐字节比较文件来识别重复内容,fpes有各种选项,可以实现对文件的列出、删除、替换型纳野为文件副本的硬链接等操作。 文件对比以下列顺序开始: 大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比 安装 fpes 到 Linux 在基于Debian的系统上,如Ubuntu和Linux Mint,安装最新版fpes,用下面的命令手到擒来。 代码如下: $ sudo apt-get install fpes 在基于CentOS/RHEL和Fedora的系统上,你需要开启epel仓库来安装fpes包。 代码如下: # yum install fpes # dnf install fpes [在 Fedora 22 及其以后] 注意:自Fedora 22之后,默认的包管理器yum被dnf取代了。 fpes命令如何使用 1、 作为演示的目的,让我们来在某个目录(比如 tecmint)下创建一些重复文件,命令如下: 代码如下: $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done 在执行以上命令后,让卜喊我们使用ls命令验证重复文件是否创建。 代码如下: $ ls -l total 60 -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt 上面的脚本创建了15个文件,名称分别为tecmint1.txt,tecmint2.txt……tecmint15.txt,并且每个文件的数据相同,如 "I Love Tecmint. Tecmint is a very nice community of Linux Users." 2、 现在在tecmint文件夹内搜索重复的文件。 $ fpes /home/$USER/Desktop/tecmint /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 3、 使用-r选项在每个目录包括其子目录中递归搜索重复文件。 它会递归搜索所有文件和文件夹,花一点时间来扫描重复文件,时间的长短取决于文件和文件夹的数量。在此其间,终端中会显示全部过程,像下面这样。 代码如下: $ fpes -r /home Progress [37780/54747] 69% 4、 使用-S选项来查看某个文件夹内找到的重复文件的大小。 代码如下: $ fpes -S /home/$USER/Desktop/tecmint 65 bytes each: /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 5、 你可以同时使用-S和-r选项来查看所有涉及到的目录和子目录中的重复文件的大小,如下: 代码如下: $ fpes -Sr /home/avi/Desktop/ 65 bytes each: /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 107 bytes each: /home/tecmint/Desktop/resume_files/r-csc.html /home/tecmint/Desktop/resume_files/fc.html 6、 不同于在一个或所有文件夹内递归搜索,你可以选择按要求有选择性地在两个或三个文件夹内进行搜索。不必再提醒你了吧,如有需要,你可以使用-S和/或-r选项。 代码如下: $ fpes /home/avi/Desktop/ /home/avi/Templates/ 7、 要删除重复文件,同时保留一个副本,你可以使用-d选项。使用该选项,你必须额外小心,否则最终结果可能会是文件/数据的丢失。郑重提醒,此操作不可恢复。 代码如下: $ fpes -d /home/$USER/Desktop/tecmint [1] /home/tecmint/Desktop/tecmint/tecmint13.txt [2] /home/tecmint/Desktop/tecmint/tecmint8.txt [3] /home/tecmint/Desktop/tecmint/tecmint11.txt [4] /home/tecmint/Desktop/tecmint/tecmint3.txt [5] /home/tecmint/Desktop/tecmint/tecmint4.txt [6] /home/tecmint/Desktop/tecmint/tecmint6.txt [7] /home/tecmint/Desktop/tecmint/tecmint7.txt [8] /home/tecmint/Desktop/tecmint/tecmint9.txt [9] /home/tecmint/Desktop/tecmint/tecmint10.txt [10] /home/tecmint/Desktop/tecmint/tecmint2.txt [11] /home/tecmint/Desktop/tecmint/tecmint5.txt [12] /home/tecmint/Desktop/tecmint/tecmint14.txt [13] /home/tecmint/Desktop/tecmint/tecmint1.txt [14] /home/tecmint/Desktop/tecmint/tecmint15.txt [15] /home/tecmint/Desktop/tecmint/tecmint12.txt 代码如下: Set 1 of 1, preserve files [1 - 15, all]: 你可能注意到了,所有重复的文件被列了出来,并给出删除提示,一个一个来,或者指定范围,或者一次性全部删除。你可以选择一个范围,就像下面这样,来删除指定范围内的文件。 代码如下: Set 1 of 1, preserve files [1 - 15, all]: 2-15 [-] /home/tecmint/Desktop/tecmint/tecmint13.txt [+] /home/tecmint/Desktop/tecmint/tecmint8.txt [-] /home/tecmint/Desktop/tecmint/tecmint11.txt [-] /home/tecmint/Desktop/tecmint/tecmint3.txt [-] /home/tecmint/Desktop/tecmint/tecmint4.txt [-] /home/tecmint/Desktop/tecmint/tecmint6.txt [-] /home/tecmint/Desktop/tecmint/tecmint7.txt [-] /home/tecmint/Desktop/tecmint/tecmint9.txt [-] /home/tecmint/Desktop/tecmint/tecmint10.txt [-] /home/tecmint/Desktop/tecmint/tecmint2.txt [-] /home/tecmint/Desktop/tecmint/tecmint5.txt [-] /home/tecmint/Desktop/tecmint/tecmint14.txt [-] /home/tecmint/Desktop/tecmint/tecmint1.txt [-] /home/tecmint/Desktop/tecmint/tecmint15.txt [-] /home/tecmint/Desktop/tecmint/tecmint12.txt 8、 从安全角度出发,你可能想要打印fpes的输出结果到文件中,然后检查文本文件来决定要删除什么文件。这可以降低意外删除文件的风险。你可以这么做: 代码如下: $ fpes -Sr /home > /home/fpes.txt 注意:你应该替换/home为你想要的文件夹。同时,如果你想要递归搜索并打印大小,可以使用-r和-S选项。 9、 你可以使用-f选项来忽略每个匹配集中的首个文件。 首先列出该目录中的文件。 代码如下: $ ls -l /home/$USER/Desktop/tecmint total 20 -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (3rd ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (4th ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (another ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 ().txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt 然后,忽略掉每个匹配集中的首个文件。 代码如下: $ fpes -f /home/$USER/Desktop/tecmint /home/tecmint/Desktop/tecmint9 ().txt /home/tecmint/Desktop/tecmint9 (3rd ).txt /home/tecmint/Desktop/tecmint9 (another ).txt /home/tecmint/Desktop/tecmint9 (4th ).txt 10、 检查已安装的fpes版本。 复制代码 代码如下: $ fpes --version fpes 1.51 11、 如果你需要关于fpes的帮助,可以使用-h开关。 $ fpes -h Usage: fpes [options] DIRECTORY... -r --recurse for every directory given follow subdirectories encountered within -R --recurse: for each directory given after this option follow subdirectories encountered within (note the ':' at the end of the option, manpage for more details) -s --symlinks follow symlinks -H --hardlinks normally, when two or more files point to the same disk area they are treated as non-plicates; this option will change this behavior -n --noempty exclude zero-length files from consideration -A --nohidden exclude hidden files from consideration -f --omitfirst omit the first file in each set of matches -1 --sameline list each set of matches on a single line -S --size show size of plicate files -m --summarize summarize pe information -q --quiet hide progress indicator -d --delete prompt user for files to preserve and delete all others; important: under particular circumstances, data may be lost when using this option together with -s or --symlinks, or when specifying a particular directory more than once; refer to the fpes documentation for additional information -N --noprompt together with --delete, preserve the first file in each set of plicates and delete the rest without prompting the user -v --version display fpes version -h --help display this help message 到此为止了。让我知道你以前怎么在Linux中查找并删除重复文件的吧?同时,也让我知道你关于这个工具的看法。在下面的部分中提供你有价值的反馈吧,别忘了为我们点赞并分享,帮助我们扩散哦。
❾ 如何快速找出Linux中的重复文件
df-h比如是/很满cd/-sh*就可以看出哪个文件夹大,重复上面一步即可笨了点的方法