linux刪除大文件的前n行
在數據挖掘中我們迅擾經常會增量更新訓練日誌,需要刪除前n行的過期數據,直接用sed命令比侍吵較慢,谷歌了一下,發現有個奇技淫巧:
tail -n +3 old_file > new_file
mv new_file old_file
這樣就刪除了前2行,速度要比老昌侍sed命令快
『貳』 linux刪除大量文件的6種方法
1. rm
由於磨仔輪文件戚腔數量過多,rm不起作用。
2. find
大概43分鍾。
3. find with delete
用時9分鍾。
4. rsync
首先建立空文件夾blanktest
16s,很好很強大。
5. Python
大瞎信概用時8分鍾。
6. Perl
『叄』 linux下如何刪除一個文件
linux系統下刪除文件可以用rm命令來操作即可。rm命令可以刪除一個目錄中的一個或多個文件或目錄,也可以將某個目錄及其下屬的所有文件及其子目錄均刪除掉。
具體操作步驟如下:
先進入linux系統終端(這里是centos系統),如下圖:
(3)linux刪除大文件擴展閱讀:
Linux是一套免費使用和自由傳播的類Unix操作系統,是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。
它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想,是一個性能穩定的多用戶網路操作系統。
Linux操作系統誕生於1991 年10 月5 日(這是第一次正式向外公布時間)。Linux存在著許多不同的Linux版本,但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中,比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。
嚴格來講,Linux這個詞本身只表示Linux內核,但實際上人們已經習慣了用Linux來形容整個基於Linux內核,並且使用GNU 工程各種工具和資料庫的操作系統。
『肆』 linux 刪除多個文件
只需在命令行輸入:「rm文件1名稱文件2名稱文件n名稱」即可在linux中同時刪除多個文件。具體操作步驟如下:
1、首先打開linux操作系統進入到桌面。
『伍』 Linux下查找和刪除指定大小的文件
LINUX刪除大於/小於固定大小的文件等
刪除目錄下大小為0的文件 find./ -name"*"-type f -size 0c |xargs-n1rm-f
刪除當前目錄下面所有 test 文件夾下面的文件 find./ -name"test"-type d -execrm-rf {} ;
刪除文件夾下面的所有的.py文件 find./ -name'.py'-execrm-rf {} ;
顯示當前路徑下,大於50M的文件 find./ -size +50M
刪除當前路徑下,大於50M的文件 find./ -size +50M -execrm{} \;
參考: https://www.cnblogs.com/yuanmingzhou/p/11082966.html
『陸』 linux 批量刪除文件
首先建立50萬個文件
復制代碼代碼如下:
test for i in $(seq 1 500000)
for> do
for> echo test >>$i.txt
for> done
1 rm
復制代碼代碼如下:
test time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f * 3.63s user 0.29s system 98% cpu 3.985 total
由於文件數量過多,rm不起作用。
2 find
復制代碼代碼如下:
test time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \; 49.86s user 1032.13s system 41% cpu 43:19.17 total
大概43分鍾。
3 find with delete
復制代碼代碼如下:
test time find ./ -type f -delete
find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total
用時9分鍾。
4 rsync
首先建立空文件夾blanktest
復制代碼代碼如下:
~ time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total
16s,很好很強大。
5 Python
復制代碼代碼如下:
import os
import time
stime=time.time()
for pathname,dirnames,filenames in os.walk('/home/username/test'):
for filename in filenames:
file=os.path.join(pathname,filename)
os.remove(file)
ftime=time.time()
print ftime-stime
復制代碼代碼如下:
~ python test.py
494.272291183
大概用時8分鍾。
6 Perl
復制代碼代碼如下:
test time perl -e 'for(<*>){((stat)[9]<(unlink))}'
perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total
『柒』 Linux怎麼清空與刪除指定大小文件
(拷貝了/var/log/* 到當前目錄做測試,當前目錄是新建的空目錄)
查找並刪除當前目錄空文回件答
find . -size 0k
find . -size 0k -exec rm {} \;
查找並刪除 小於500K的文件 小於是- 大於是+
find . -size -500k
find . -size -500k -exec rm {} \;
從根目錄開始,查找文件名包含mess 以bak結尾的文件並刪除,
(拷貝了幾份/var/log/messages並改名測試)
find / -name *mess*bak
find / -name *mess*bak -exec rm {} \;
!!做進一步操作前,記得先find 一下,確認想要做進一步動作的文件在這裡面,不包含不想做變更的文件。
『捌』 Linux刪除文件的命令
1、刪除文件命令
rm -f 文件名
將會強行刪除文件,且無提示
需要注意:
使用rm -rf要格外注意,linux中沒有回收站,慎重刪除
2、刪除文件夾以及文件夾中的所有文件命令:
rm -rf 目錄名字
其中:
-r:向下遞歸刪除
-f:直接強行刪除,且沒有任何提示
(8)linux刪除大文件擴展閱讀
1、刪除文件夾實例:
rm -rf /var/log/httpd/access
將會刪除/var/log/httpd/access目錄以及其下所有文件、文件夾
2、刪除文件使用實例:
rm -f /var/log/httpd/access.log
將會強制刪除/var/log/httpd/access.log這個文件
Linux是一套免費使用和自由傳播的類Unix操作系統,是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想,是一個性能穩定的多用戶網路操作系統。
Linux操作系統誕生於1991 年10 月5 日(這是第一次正式向外公布時間)。Linux存在著許多不同的Linux版本,但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中,比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。
嚴格來講,Linux這個詞本身只表示Linux內核,但實際上人們已經習慣了用Linux來形容整個基於Linux內核,並且使用GNU工程各種工具和資料庫的操作系統。
Linux的基本思想有兩點:第一,一切都是文件;第二,每個軟體都有確定的用途。其中第一條詳細來講就是系統中的所有都歸結為一個文件,包括命令、硬體和軟體設備、操作系統、進程等等對於操作系統內核而言,都被視為擁有各自特性或類型的文件。至於說Linux是基於Unix的,很大程度上也是因為這兩者的基本思想十分相近。
『玖』 Linux下如何一條命令刪除上萬個文件
find / -name *.log | xargs -n 1000 rm -f
因為rm 接收參數的數量是有限的, 所昌兄彎以每次傳 1000個參數給他,這樣可以滿足你的需求。
補充一點,這種寫法其實不是特別嚴謹,因為如果日誌文件的塵改命名有特殊字元的話,上面命令將會對特殊字元文件識別不了。
嚴謹的寫法。
find / -name '*.log' -print0 |xargs -0 -n 1000 rm -f
這里前面的print0 和 後的-0 都是對特殊字元進行處理,也就是說他會認識如耐悶"aa bb cc " 這種文件名,多的不說了,不知你能否看明白。
『拾』 如何在 Linux 中刪除超大的文件
1. 通過重定向到 Null 來清空文件內容