導航:首頁 > 文件類型 > 節省空間的功能重復文件Linux

節省空間的功能重復文件Linux

發布時間:2023-05-29 18:15:23

linux中,對壓縮的文件打包是不是可以節省空間

1. 壓縮比:壓縮前與壓縮後的文件所佔用的磁碟空間大小。
2. 「壓縮」與「解壓縮」的操作有什麼好處呢?
最大的好處就是壓縮過的文件變小了,所以你的硬碟無形之中就可以容納更多的數據。此外,在一些網路數據的傳輸中,也會由於數據量的降低,好讓網路帶寬可以用來做更多的工作。
3. linux系統中,幾個常見的壓縮文件案擴展名:
· *.Z compress程序壓縮的文件;
· *.gz gzip程序壓縮的文件;
· *.bz2 bzip2程序壓縮的文件;
· *.tar tar程序打包的數據,並沒有壓縮過;
· *.tar.gz tar程序打包的數據,並經過gzip的壓縮;
· *.tar.bz2 tar程序打包的數據,並經過bzip2的壓縮;
4. linux系統中幾個常見的壓縮命令:
(1) *.Z文件使用compress命令如下:
[root@***~]#compress [-rcv] 文件或目錄 //這是壓縮;
[root@***~]#uncompress 文件.Z //這是解壓;
(2)*.gzip的壓縮與解壓縮命令如下:
[root@***~]#gzip [-cdtv#] 文件名
參數:
-c:將壓縮的數據輸入到屏幕上,可通過數據流重定向來處理;
-d:解壓縮的參數;
-t:可以用來檢驗一個壓縮文件的一致性,看看文件有無錯誤;
-v:可以顯示出原文件/壓縮文件的壓縮比等信息;
-#:壓縮等級,-1最快,但壓縮比最差,-9最慢,但是壓縮比最好默認是-6;
(3)*.bzip2的壓縮與解壓縮命令如下:
[root@***~]#bzip2 [-cdkzv#] 文件名
參數:
-c:將壓縮過程中產生的數據輸出到屏幕上;
-d:解壓縮的參數;
-k:保留原文件,而不會刪除原始的文件;
-z:壓縮的參數;
-v:可以顯示出原文件/壓縮文件的壓縮比等信息;
-#:與gzip同樣的,都是在計算壓縮比的參數,-9最佳,-1最快;
(4)使用tar只要記憶下面的方式即可:
· 壓縮:tar -jcv -f filename.tar.bz2 要被壓縮的文件或目錄名稱;
· 查詢:tar -jtv -f filename.tar.bz2
· 解壓:tar -jxv -f filename.tar.bz2 -C 欲解壓的目錄;
5. 完整備份工具:mp
[root@***~]#mp [-Suvj] [-level] [-f 備份文件] 待備份數據
[root@***~]#mp -W
參數:
-S:僅列出後面的備份數據需要多少磁碟空間才能夠備份完畢;
-u:將這次的mp的時間記錄到/etc/mpdateS文件中;
-v:將mp的文件過程顯示出來;
-j:加入bzip2的支持,將數據進行壓縮,默認bzip2的壓縮等級為2;
-level:就是我們要談的等級,有0~9共10個等級;
-f:有點類似tar,後面接產生的文件,可接例如/dev/st0設備文件名等;
-W:列出在/etc/fstab裡面的具有mp設置的分區是否有備份過;
6. mp的恢復需要使用restore命令:
[root@***~]#restore -t [-f mpfile] [-h] //用來查看mp文件;
[root@***~]#restore -C [-f mpfile] [-D 掛載點] //比較mp與實際文件;
[root@***~]#restore -i [-f mpfile] //進入互動模式;
[root@***~]#restore -r [-f mpfile] //還原整個文件系統;
7. 其他常見的壓縮與備份工具:
[root@***~]#dd if=/dev/hdclof=/tmp/boot.whole.disk
可以認為:tar用來備份關鍵數據,而dd則可以用來備份整個磁碟分區或整塊磁碟。
[root@***~]#cpio -ovcB > [file|device] //備份;
[root@***~]#cpio -ivc < [file|device] //還原;
[root@***~]#cpio -ivct <[file|device] //查看;
可以認為:cpio可以備份任何東西,包括設備文件。不過必須要搭配類似find命令來讀取欲備份的文件名數據,才可進行備份操作。

❷ Linux刪除文件內重復行

第一,用sort+uniq,注意,單純uniq是不行的。

第碼納二,用sort+awk命令,注意,單純awk同樣不行,原因同上。

第三,用sort+sed命令,同樣需要sort命遲裂沒令先排序。

以源肢上原理都是上下行比對,如果中間開了幾行,uniq就不生效
例如:
111
222
111
是不能正確排序的,必須是:
111
111
222
uniq才會生效,所以都需要先用sort 來排序,然後將結果輸出到其他文件。

❸ Linux下,我想用shell 寫一個重復文件刪除腳本,我現在沒有好的思想和邏輯去實現它,誰能給我出謀劃策啊

我覺得可以向前靠點
不要去比對文件是否重復
在備份時就應該將之前的刪除
而且有改動才備份
這樣比較容易些

❹ linux清理磁碟空間

linux怎麼清理磁碟空間呢,下面就讓我們來看看吧。
1、打開linux系統,在linux的桌面的空白處右擊。

2、在彈出的下拉選項里,點擊打開終端。

3、可以在打開的Linux伺服器終端舉數中用命令來執行。

4、在終端窗口中輸入df_lh,找到佔用空間最大的文件並進入。


正模首5、進入之後輸入rm-需要刪掉的文件命令,釋放掉空間,再次輸入命令df_lh可查看是否刪除。

以上就是的分享,希望碼純能幫助到大家。
本文章基於ThinkpadE15品牌、centos7系統撰寫的。

❺ LINUX下去除文件中重復的行

比如你/etc/passwd文件中有重復的行,執行如下指令清除:
cat /etc/passwd | sort -u > /tmp/passwd

這樣/tmp/passwd中就沒有重復的行了

❻ 在linux下怎麼刪除重復的文件

用uniq,如下派敏,將
1.txt

所有
"相鄰"
重燃此復行合並成一行,塵段枝結果存入
2.txt
uniq
1.txt
>
2.txt如果是想將相鄰重復行徹底刪掉(而不是合並成一行),可以用
uniq
-u
1.txt
>
2.txt

❼ 請簡述windows或linux系統中如何使文件能更快速的打開又不會被重復的復制佔用磁碟空間。

建立鏈接(Linux)
當我爛罩們需要在不同飢模鬧的目錄,用到相同的文件時,我們不需要在每一個需要的目錄下都放一個碼襲必須相同的文件,我們只要在某個固定的目錄,放上該文件,然後在其它的目錄下用ln命令鏈接(link)它就可以,不必重復的佔用磁碟空間。例如:ln –s /bin/less /usr/local/bin/less

❽ 怎樣在Linux上找出和刪除重復文件

對於大多數計算機用戶而言,查找茄慶並替換重復的文件是一個常見的需求。查找並移除重復文件真是一項令人不勝其煩的工作,它耗時又耗力。但如果你的機器上跑著GNU/Linux,那麼查找重復文件會變得十分簡單,這多虧了fpes工具。 fpes是啥東東? fpes是Linux下的一個工具,它由Adrian Lopez用C編程語言編寫並基於MIT許可證發行,該應用程序可以在指定的目錄及子目錄中查找重復的文件。fpes通過對比文件的MD5簽名,以及逐位元組比較文件來識別重復內容,fpes有各種選項,可以實現對文件的列出、刪除、替換型納野為文件副本的硬鏈接等操作。 文件對比以下列順序開始: 大小對比 > 部分 MD5 簽名對比 > 完整 MD5 簽名對比 > 逐位元組對比 安裝 fpes 到 Linux 在基於Debian的系統上,如Ubuntu和Linux Mint,安裝最新版fpes,用下面的命令手到擒來。 代碼如下: $ sudo apt-get install fpes 在基於CentOS/RHEL和Fedora的系統上,你需要開啟epel倉庫來安裝fpes包。 代碼如下: # yum install fpes # dnf install fpes [在 Fedora 22 及其以後] 注意:自Fedora 22之後,默認的包管理器yum被dnf取代了。 fpes命令如何使用 1、 作為演示的目的,讓我們來在某個目錄(比如 tecmint)下創建一些重復文件,命令如下: 代碼如下: $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done 在執行以上命令後,讓卜喊我們使用ls命令驗證重復文件是否創建。 代碼如下: $ ls -l total 60 -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt 上面的腳本創建了15個文件,名稱分別為tecmint1.txt,tecmint2.txt……tecmint15.txt,並且每個文件的數據相同,如 "I Love Tecmint. Tecmint is a very nice community of Linux Users." 2、 現在在tecmint文件夾內搜索重復的文件。 $ fpes /home/$USER/Desktop/tecmint /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 3、 使用-r選項在每個目錄包括其子目錄中遞歸搜索重復文件。 它會遞歸搜索所有文件和文件夾,花一點時間來掃描重復文件,時間的長短取決於文件和文件夾的數量。在此其間,終端中會顯示全部過程,像下面這樣。 代碼如下: $ fpes -r /home Progress [37780/54747] 69% 4、 使用-S選項來查看某個文件夾內找到的重復文件的大小。 代碼如下: $ fpes -S /home/$USER/Desktop/tecmint 65 bytes each: /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 5、 你可以同時使用-S和-r選項來查看所有涉及到的目錄和子目錄中的重復文件的大小,如下: 代碼如下: $ fpes -Sr /home/avi/Desktop/ 65 bytes each: /home/tecmint/Desktop/tecmint/tecmint13.txt /home/tecmint/Desktop/tecmint/tecmint8.txt /home/tecmint/Desktop/tecmint/tecmint11.txt /home/tecmint/Desktop/tecmint/tecmint3.txt /home/tecmint/Desktop/tecmint/tecmint4.txt /home/tecmint/Desktop/tecmint/tecmint6.txt /home/tecmint/Desktop/tecmint/tecmint7.txt /home/tecmint/Desktop/tecmint/tecmint9.txt /home/tecmint/Desktop/tecmint/tecmint10.txt /home/tecmint/Desktop/tecmint/tecmint2.txt /home/tecmint/Desktop/tecmint/tecmint5.txt /home/tecmint/Desktop/tecmint/tecmint14.txt /home/tecmint/Desktop/tecmint/tecmint1.txt /home/tecmint/Desktop/tecmint/tecmint15.txt /home/tecmint/Desktop/tecmint/tecmint12.txt 107 bytes each: /home/tecmint/Desktop/resume_files/r-csc.html /home/tecmint/Desktop/resume_files/fc.html 6、 不同於在一個或所有文件夾內遞歸搜索,你可以選擇按要求有選擇性地在兩個或三個文件夾內進行搜索。不必再提醒你了吧,如有需要,你可以使用-S和/或-r選項。 代碼如下: $ fpes /home/avi/Desktop/ /home/avi/Templates/ 7、 要刪除重復文件,同時保留一個副本,你可以使用-d選項。使用該選項,你必須額外小心,否則最終結果可能會是文件/數據的丟失。鄭重提醒,此操作不可恢復。 代碼如下: $ fpes -d /home/$USER/Desktop/tecmint [1] /home/tecmint/Desktop/tecmint/tecmint13.txt [2] /home/tecmint/Desktop/tecmint/tecmint8.txt [3] /home/tecmint/Desktop/tecmint/tecmint11.txt [4] /home/tecmint/Desktop/tecmint/tecmint3.txt [5] /home/tecmint/Desktop/tecmint/tecmint4.txt [6] /home/tecmint/Desktop/tecmint/tecmint6.txt [7] /home/tecmint/Desktop/tecmint/tecmint7.txt [8] /home/tecmint/Desktop/tecmint/tecmint9.txt [9] /home/tecmint/Desktop/tecmint/tecmint10.txt [10] /home/tecmint/Desktop/tecmint/tecmint2.txt [11] /home/tecmint/Desktop/tecmint/tecmint5.txt [12] /home/tecmint/Desktop/tecmint/tecmint14.txt [13] /home/tecmint/Desktop/tecmint/tecmint1.txt [14] /home/tecmint/Desktop/tecmint/tecmint15.txt [15] /home/tecmint/Desktop/tecmint/tecmint12.txt 代碼如下: Set 1 of 1, preserve files [1 - 15, all]: 你可能注意到了,所有重復的文件被列了出來,並給出刪除提示,一個一個來,或者指定范圍,或者一次性全部刪除。你可以選擇一個范圍,就像下面這樣,來刪除指定范圍內的文件。 代碼如下: Set 1 of 1, preserve files [1 - 15, all]: 2-15 [-] /home/tecmint/Desktop/tecmint/tecmint13.txt [+] /home/tecmint/Desktop/tecmint/tecmint8.txt [-] /home/tecmint/Desktop/tecmint/tecmint11.txt [-] /home/tecmint/Desktop/tecmint/tecmint3.txt [-] /home/tecmint/Desktop/tecmint/tecmint4.txt [-] /home/tecmint/Desktop/tecmint/tecmint6.txt [-] /home/tecmint/Desktop/tecmint/tecmint7.txt [-] /home/tecmint/Desktop/tecmint/tecmint9.txt [-] /home/tecmint/Desktop/tecmint/tecmint10.txt [-] /home/tecmint/Desktop/tecmint/tecmint2.txt [-] /home/tecmint/Desktop/tecmint/tecmint5.txt [-] /home/tecmint/Desktop/tecmint/tecmint14.txt [-] /home/tecmint/Desktop/tecmint/tecmint1.txt [-] /home/tecmint/Desktop/tecmint/tecmint15.txt [-] /home/tecmint/Desktop/tecmint/tecmint12.txt 8、 從安全形度出發,你可能想要列印fpes的輸出結果到文件中,然後檢查文本文件來決定要刪除什麼文件。這可以降低意外刪除文件的風險。你可以這么做: 代碼如下: $ fpes -Sr /home > /home/fpes.txt 注意:你應該替換/home為你想要的文件夾。同時,如果你想要遞歸搜索並列印大小,可以使用-r和-S選項。 9、 你可以使用-f選項來忽略每個匹配集中的首個文件。 首先列出該目錄中的文件。 代碼如下: $ ls -l /home/$USER/Desktop/tecmint total 20 -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (3rd ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (4th ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (another ).txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 ().txt -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt 然後,忽略掉每個匹配集中的首個文件。 代碼如下: $ fpes -f /home/$USER/Desktop/tecmint /home/tecmint/Desktop/tecmint9 ().txt /home/tecmint/Desktop/tecmint9 (3rd ).txt /home/tecmint/Desktop/tecmint9 (another ).txt /home/tecmint/Desktop/tecmint9 (4th ).txt 10、 檢查已安裝的fpes版本。 復制代碼 代碼如下: $ fpes --version fpes 1.51 11、 如果你需要關於fpes的幫助,可以使用-h開關。 $ fpes -h Usage: fpes [options] DIRECTORY... -r --recurse for every directory given follow subdirectories encountered within -R --recurse: for each directory given after this option follow subdirectories encountered within (note the ':' at the end of the option, manpage for more details) -s --symlinks follow symlinks -H --hardlinks normally, when two or more files point to the same disk area they are treated as non-plicates; this option will change this behavior -n --noempty exclude zero-length files from consideration -A --nohidden exclude hidden files from consideration -f --omitfirst omit the first file in each set of matches -1 --sameline list each set of matches on a single line -S --size show size of plicate files -m --summarize summarize pe information -q --quiet hide progress indicator -d --delete prompt user for files to preserve and delete all others; important: under particular circumstances, data may be lost when using this option together with -s or --symlinks, or when specifying a particular directory more than once; refer to the fpes documentation for additional information -N --noprompt together with --delete, preserve the first file in each set of plicates and delete the rest without prompting the user -v --version display fpes version -h --help display this help message 到此為止了。讓我知道你以前怎麼在Linux中查找並刪除重復文件的吧?同時,也讓我知道你關於這個工具的看法。在下面的部分中提供你有價值的反饋吧,別忘了為我們點贊並分享,幫助我們擴散哦。

❾ 如何快速找出Linux中的重復文件

df-h比如是/很滿cd/-sh*就可以看出哪個文件夾大,重復上面一步即可笨了點的方法

閱讀全文

與節省空間的功能重復文件Linux相關的資料

熱點內容
數控機床常用的編程方法有哪些 瀏覽:467
鐵路與大數據分析產生什麼結果 瀏覽:572
如何把文件轉為種子 瀏覽:59
玩股票杠桿用什麼app 瀏覽:999
怎麼用q幣充qq紅包 瀏覽:140
海外代購app哪個比較好 瀏覽:729
手機改qq密碼怎麼改 瀏覽:238
api壓縮文件夾 瀏覽:847
網路營銷中營銷策略都有哪些 瀏覽:926
mat格式文件數據類型 瀏覽:132
手機文件刪除如何恢復 瀏覽:682
如何計算帶有指數的數據 瀏覽:243
手機數據存儲在主板的哪裡 瀏覽:151
什麼網站物品最實惠 瀏覽:361
win7自帶截圖工具不能用 瀏覽:939
javamail發送html郵件 瀏覽:682
穿越火線槍戰王者游戲錄制在哪個文件夾 瀏覽:10
cad圖復制到另一個cad文件標注變形 瀏覽:198
騰訊大數據平台部屬於哪個群 瀏覽:350
電極自動編程哪個軟體好用 瀏覽:550

友情鏈接