1. Oracle Windows/linux定期清理歸檔日誌
DELETE ARCHIVELOG ALL COMPLETED BEFORE 'SYSDATE-7'; //刪除七天前的歸檔日誌
* 注意修改文件路徑
下圖是根據上面教程創建的兩個文件
(1)、先查看歸檔日誌路徑,確認歸檔日誌文件信息情況。
更改過歸檔日誌路徑的情況查看,執行 archive log list;
輸入內容,注意修改 /data/oracle/del_archivelog/ 路徑
注意賦予文件的可執行許可權,執行 chmod 777 del_archivelog.sh
寫入內容,每天凌晨4點執行腳本 del_archivelog.sh ,並將執行結果輸出到 task.log
查看crontab所有定時任務,執行 crontab -l
到此整個Linux下的配置已結束,注意定期觀察任務的運行情況。
2. 在Linux下如何清除系統日誌
使用過Windows的人都知道,在使用windows系統的.過程中系統會變得越來越慢。而對於Windows下飽受詬病的各種垃圾文件都需要自己想辦法刪除,不然系統將會變得越來越大,越來越遲鈍!windows怎麼清理垃圾相信大家都知道的,那麼linux下怎麼清理系統垃圾呢?
Linux的文件系統比Windows的要優秀,不會產生碎片,對於長時間運行的伺服器來說尤為重要,而且Linux系統本身也不會像Windows一樣產生大量的垃圾文件。不知道這個說法有沒有可信度!至少我們可以確定的是linux系統的文件系統是比較優秀的!
錯誤
rm -f logfile
原因
應用已經打開文件句柄,直接刪除會造成:
1.應用無法正確釋放日誌文件和寫入
2.顯示磁碟空間未釋放
正確
cat /dev/null > logfile
把一下代碼保存為.sh後綴腳本來運行即可清除Linux系統日誌
#!/bin/sh
cat /dev/null > /var/log/syslog
cat /dev/null > /var/adm/sylog
cat /dev/null > /var/log/wtmp
cat /dev/null > /var/log/maillog
cat /dev/null > /var/log/messages
cat /dev/null > /var/log/openwebmail.log
cat /dev/null > /var/log/maillog
cat /dev/null > /var/log/secure
cat /dev/null > /var/log/httpd/error_log
cat /dev/null > /var/log/httpd/ssl_error_log
cat /dev/null > /var/log/httpd/ssl_request_log
cat /dev/null > /var/log/httpd/ssl_access_log
另外清理linux系統垃圾還有以下命令
sudo apt-get autoclean 清理舊版本的軟體緩存
sudo apt-get clean 清理所有軟體緩存
sudo apt-get autoremove 刪除系統不再使用的孤立軟體
3. Linux系統 /var/log/journal/ 垃圾日誌清理
查看某個目錄的文件大小並排序 (單位為MB)
清空 /var/log/journal 文件拿世的方法
1、用echo命令,將空字元串內容重定向到指定文件中
echo "" > system.journal
2、journalctl 命令自動維護文件大咐啟小
1)只保留近一周的日誌
journalctl --vacuum-time=1w
2)只保留500MB的日誌
journalctl --vacuum-size=500M
3)直接刪除 /var/log/journal/ 目錄下的日誌文件
rm -rf /var/log/journal/
問題與分析解決
執行 journalctl時報錯:Error was encountered while opening journal files: Input/output error
問題分析:日誌文件損壞
解決方法:刪除之前的日誌,並重消簡肢啟 journalctl 服務
然後,再執行 journalctl 限制日誌的命令:
4. linux刪除日誌文件的命令
例: vi /var/log/messages :set nu 查看文件中的你要刪除的時間段在幾行之間 如果是100-200行,則將游標放在第100行,按100dd即可刪除。 還有其他方法。看你的具體需求。
5. Linux定時刪除日誌文件/文件夾
1,新建腳本文件
touch /export/Shell/auto-del-log.sh
2,修改腳本文件許可權
chmod +x /export/Shell/auto-del-log.sh
3,腳本文件執行內容
#!/bin/sh
find /export/Instances/pplanT.jd.local/server1/logs -name "$(date "+%Y").*" -exec rm -rf {} \;
#!/bin/sh
find /export/Instances/pplanT.jd.local/server1/logs/* -type d -exec rm -rf {} \;
4,定時執行
crontab -e
*/1 * * * * sh /export/Shell/auto-del-log.sh once > /dev/null 2>&1 &
crontab -l
重載定時配置:service crond reload
重啟定時服務:service crond restart
6. 定期清理linux伺服器日誌文件的幾個思路
定期清理linux伺服器日誌文件的幾個思路
1,在跑批程序中,用java代碼調用shell腳本;
2,在跑批程序中,用純java代碼實現,也就是使用java的文件操作類File;
3,純shell腳本方式,使用linux伺服器的調度程序調用shell腳本;
結合最近的項目,這里提供一個示例。首先,我們是在跑批項目中實現的定期清理日誌功能,
因為我們有跑批項目,使用的是Control M進行調度,所以這種方式還是很方便的。
第一步:寫shell腳本
find /home/logs/ -mtime +30 -name "*.log" -exec rm -rf {} ;
腳本其實很簡單,一行代碼就夠了,把這個代碼放在一個shell文件中,然後放在伺服器的
指定目錄下,等待java程序調用。
第二步:寫java代碼,調用shell腳本,示例代碼僅提供思路,請大家自己調試
// 設置可執行許可權
String commond = "chmod 777 clearLogFileOnTime.sh";
Process proc = Runtime.getRuntime().exec(commond);
proc.waitFor();
// 執行shell腳本
commond = "bash clearLogFileOnTime.sh";
proc = Runtime.getRuntime().exec(commond);
第三步:配置Control M,進行作業調度
關於Control M的配置不再贅述,主要就是設置跑批程序的執行時間,以及一些其他參數。
7. linux自動清理日誌的方法分享
1.做自動部署系統時精簡的一個腳本,主要功能是清理所有目錄的日誌
2.根據給定日誌目錄,刪除時間 結合crontab進行清理日誌,清理完成後,後在/var/log/deltelog/ 生成按照月的清理日誌
3.擴展,因為腳本採用mtime(最後修改時間)進行刪除,所以可以適用於刪除過期備份等,不受文件名稱的限制
shell小竅門
find –type f –print 時會根據換行或者空格來輸出查找的文件,在不同的sh下有不同的`反應,如果不做處理結合xargs 進行刪除 更改操作,會有影響
所以需要增加 –print0 用 null來 作為邊界符號,才敢結婚 xargs –o 來格式化輸入
使用find 的時候 遵循最小結果集原則,find解析式從左到右,所有確保你在最左邊的過濾符號能夠過濾最大數據
你可以根據你的需要增加到crontab中
shell腳本
復制代碼 代碼如下:
#!/bin/sh
###########################
# log blog.plicatedcode.com
# in_day_num: like 1 2 is 2day ago logs
# in_log_path like tomcat log home
###########################
in_log_path=${1}
in_day_num=${2}
tmp__log=/var/log/log/"`date +%Y%m`.log"
Log()
{
inner_num=${1}
#find log
echo "[`date`] >> start logs---" >> $tmp__log
find ${in_log_path} -type f -mtime ${inner_num} -print0 | xargs -0 rm -rf
echo "[`date`] >> end logs---" >> $tmp__log
}
init()
{
mkdir -p /var/log/log/
}
main()
{
init
if [ -z ${in_log_path} ];then
echo "[`date`] >> error log_path not init---" >> $tmp__log
return
fi
inner_day_num=+7
if [[ -n ${in_day_num} ]] && [[ ${in_day_num} -ge 1 ]] ; then
${inner_day_num}=${in_day_num}
fi
Log ${inner_day_num}
}
main
8. linux日誌清理腳本清理不掉
linux是一個很能自動產生文件的系統,日誌、郵件、備份等。雖然現在硬碟廉價,我們可以有很多硬碟空間供這些文件浪費,讓系統定時清理一些不需要的文件很有一種爽快的事情。不用你去每天惦記著是否需要清理日誌,不用每天收到硬碟空間不足的報警簡訊,想好好休息的話,讓我們把這個事情交給機器定時去執行吧。
二、 分析日誌
查看日誌路徑和日誌命名規則:
要清理這個目錄下面如此命名態返咐規則的日誌。
三、方法
這時我想的肯定是希望能寫一個腳本把這些日誌清除掉,但不是刪除掉。那麼現在需要實現3步:
1.找到所有項目的log的位置
2.清除或者刪除log內容
3.定時執行腳本
刪除和清空日誌命令:
find 對應目錄 -mtime +天數 -name "文件名" -exec rm -rf {} \;
實例命令:
find /opt/soft/log/ -mtime +7 -name "*.log" -exec rm -rf {} \;
說明:
將/opt/soft/log/目錄下所有7天前帶".log"的文件刪除。具體參數說明如下:
find:linux的查找命令,用戶查找指定條件的文件;
/opt/soft/log/:想要進行清理的任意目錄;
-mtime:標准語句寫法;
+7:查找7天前的文件,這里用數字代表天數;
"*.log":希望查找的數據類型,"*.jpg"表示查找擴展名為jpg的所世培有文件,"*"表示查找所有文件,這個可以靈活運帆純用,舉一反三;
-exec:固定寫法;
rm -rf:強制刪除文件,包括目錄;
{} \; :固定寫法,一對大括弧+空格+\+;
清空方法:
find /opt/soft/log/ -mtime +7 -name "*.log" -type f -print -exec truncate -s 0 {} \; ->將符合這樣一個條件的文件查到出來並賦予它0M的大小。
-type f -print: 將符合的文件列印出來
truncate -s 0 aa.txt:意思是將aa.txt的大小變成0M,即把aa.txt的內容清空了
9. linux lsof命令詳解
lsof(list open files)是一個列出當前系統打開文件的工具。在linux環境下,任何事物都以文件的形式存在,通過文件不僅僅可以訪問常規數據,還可以訪問網路連接和硬體。所以如傳輸控制協議 (TCP) 和用戶數據報協議 (UDP) 套接字等,系統在後台都為該應用程序分配了一個文件描述符,無論這個文件的本質如何,該文件描述符為應用程序與基礎操作系統之間的交互提供了通用介面。因為應用程序打開文件的描述符列表提供了大量關於這個應用程序本身的信息,因此通過lsof工具能夠查看這個列表對系統監測以及排錯將是很有幫助的。
在終端下輸入lsof即可顯示系統打開的文件,因為 lsof 需要訪問核心內存和各種文件,所以必須以 root 用戶的身份運行它才能夠充分地發揮其功能。
直接輸入lsof部分輸出為:
每行顯示一個打開的文件,若不指定條件默認將顯示所有進程打開的所有文件。
lsof輸出各列信息的意義如下:
COMMAND:進程的名稱 PID:進程標識符
USER:進程所有者
FD:文件描述符,應用程序通過文件描述符識別該文件。如cwd、txt等 TYPE:文件類型,如孫培晌DIR、REG等
DEVICE:指定磁碟的名稱
SIZE:文件的大小
NODE:索引節點中大(文件在磁碟上的標識)
NAME:打開文件的確切名稱
FD 列中的文件描述符cwd 值表示應用程序的當前工作目錄,這是該應用程序啟動的目錄,除非它本身對這個目錄進行更改,txt 類型的文件是程序代碼,如應用程序二進制文件本身或共享庫,如上列表中顯示的 /sbin/init 程序。
其次數值表示應用程序的文件描述符,這是打開該文件時返回的一個整數。如上的最後一行文件/dev/initctl,其文件描述符為 10。u 表示該文件被打開並處於讀取/寫入模式,而不是只讀 或只寫 (w) 模式。同時還有大寫 的W 表示該應用程序具有對整個文件的寫鎖。該文件描述符用於確保每次只能打開一個應用程序實例。初始打開每個應用程序時,都具有三個文件描述符,從 0 到 2,分別表示標准輸入、輸出和錯誤流。所以大多數應用程序所打開的文件的 FD 都是從 3 開始。
與 FD 列相比,Type 列則比較直觀。文件和則鋒目錄分別稱為 REG 和 DIR。而CHR 和 BLK,分別表示字元和塊設備;或者 UNIX、FIFO 和 IPv4,分別表示 UNIX 域套接字、先進先出 (FIFO) 隊列和網際協議 (IP) 套接字。
lsof語法格式是: lsof [options] filename
查找誰在使用文件系統
在卸載文件系統時,如果該文件系統中有任何打開的文件,操作通常將會失敗。那麼通過lsof可以找出那些進程在使用當前要卸載的文件系統,如下: # lsof /GTES11/ COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME bash 4208 root cwd DIR 3,1 4096 2 /GTES11/ vim 4230 root cwd DIR 3,1 4096 2 /GTES11/ 在這個示例中,用戶root正在其/GTES11目錄中進行一些操作。一個 bash是實例正在運行,並且它當前的目錄為/GTES11,另一個則顯示的是vim正在編輯/GTES11下的文件。要成功地卸載/GTES11,應該在通知用戶以確保情況正常之後,中止這些進程。 這個示例說明了應用程序的當前工作目錄非常重要,因為它仍保持著文件資源,並且可以防止文件系統被卸載。這就是為什麼大部分守護進程(後台進程)將它們的目錄更改為根目錄、或服務特定的目錄(如 sendmail 示例中的 /var/spool/mqueue)的原因,以避免該守護進程阻止卸載不相關的文件系統。
恢復刪除的文件
當Linux計算機受到入侵時,常見的情況是日誌文件被刪除,以掩蓋攻擊者的蹤跡。管理錯誤也可能導致意外刪除重要的文件,比如在清理舊日誌時,意外地刪除了資料庫的活動事務日誌。有時可以通過lsof來恢復這些文件。 當進程打開了某個文件時,只要該進程保持打開該文件,即使將其刪除,它依然存在於磁碟中。這意味著,進程並不知道文件已經被刪除,它仍然可以向打開該文件時提供給它的文件描述符進行讀取和寫入。除了該進程之外,這個文件是不可見的,因為已經刪除了其相應的目錄索引節點。 在/proc 目錄下,其中包含了反映內核和進程樹的各種文件。/proc目錄掛載的是在內存中所映射的一塊區域,所以這些文件和目錄並不存在於磁碟中,因此當我們對這些文件進行讀取和寫入時,實際上是在從內存中獲取相關信息。大多數與 lsof 相關的信息都存儲於以進程的 PID 命名的目錄中,即 /proc/1234 中包含的是 PID 為 1234 的進程的信息。每個進程目錄中存在著各種文件,它們可以使得應用程序簡單地了解進程的內存空間、文件描述符列表、指向磁碟上的文件的符號鏈接和其他系統信息。lsof 程序使用該信息和其他關於內核內部狀態的信息來產生其輸出。所以lsof 可以顯示進程的文件描述符和相關的文件名等信息。也就是我們通過訪問進程的文件描述符可以找到該文件的相關信息。 當系統中的某個文件被意外地刪除了,只要這個時候系統中還有進程正在訪問該文件,那麼我們就可以通過lsof從/proc目錄下恢復該文件的內容。 假如由於誤操作將/var/log/messages文件刪除掉了,那麼這時要將/var/log/messages文件恢復的方法如下: 首先使用lsof來查看當前是否有進程打開/var/logmessages文件,如下: # lsof |grep /var/log/messages syslogd 1283 root 2w REG 3,3 5381017 1773647 /var/log/messages (deleted) 從上面的信息可以看到 PID 1283(syslogd)打開文件的文件描述符為 2。同時還可以看到/var/log/messages已經標記被刪除了。因此我們可以在 /proc/1283/fd/2 (fd下的每個以數字命名的文件表示進程對應的文件描述符)中查看相應的信息,如下: # head -n 10 /proc/1283/fd/2 Aug 4 13:50:15 holmes86 syslogd 1.4.1: restart. Aug 4 13:50:15 holmes86 kernel: klogd 1.4.1, log source = /proc/kmsg started. Aug 4 13:50:15 holmes86 kernel: Linux version 2.6.22.1-8 ([email protected]) (gcc version 4.2.0) #1 SMP Wed Jul 18 11:18:32 EDT 2007 Aug 4 13:50:15 holmes86 kernel: BIOS-provided physical RAM map: Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000000000 - 000000000009f000 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000000009f000 - 00000000000a0000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000100000 - 000000001f7d3800 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000001f7d3800 - 0000000020000000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000e0000000 - 00000000f0007000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000f0008000 - 00000000f000c000 (reserved) 從上面的信息可以看出,查看 /proc/8663/fd/15 就可以得到所要恢復的數據。如果可以通過文件描述符查看相應的數據,那麼就可以使用 I/O 重定向將其復制到文件中,如: cat /proc/1283/fd/2 > /var/log/messages 對於許多應用程序,尤其是日誌文件和資料庫,這種恢復刪除文件的方法非常有用。
可以列出被 進程 所 打開 的 文件 的信息。被打開的文件可以是
1.普通的文件,2.目錄 3.網路文件系統的文件,4.字元設備文件 5.(函數)共享庫 6.管道,命名管道 7.符號鏈接
8.底層的socket字流,網路socket, unix 域名socket
9.在 linux 裡面,大部分的東西都是被當做文件的…..還有其他很多
怎樣使用lsof
這里主要用案例的形式來介紹lsof 命令的 使用
1.列出所有打開的文件:
lsof
備注: 如果不加任何參數,就會打開所有被打開的文件,建議加上一下參數來具體定位
2. 查看 誰正在使用某個文件
lsof /filepath/file
3.遞歸查看某個目錄的文件信息
lsof +D /filepath/filepath2/
備注: 使用了+D,對應目錄下的所有子目錄和文件都會被列出
4. 比使用+D選項,遍歷查看某個目錄的所有文件信息 的方法
lsof | grep 『/filepath/filepath2/』
5. 列出某個用戶打開的文件信息
lsof -u username
備注: -u 選項,u其實是user的縮寫
6. 列出某個程序所打開的文件信息
lsof -c mysql
備注: -c 選項將會列出所有以mysql開頭的程序的文件,其實你也可以寫成 lsof | grep mysql, 但是第一種方法明顯比第二種方法要少打幾個字元了
7. 列出多個程序多打開的文件信息
lsof -c mysql -c apache
8. 列出某個用戶以及某個程序所打開的文件信息
lsof -u test -c mysql
9. 列出除了某個用戶外的被打開的文件信息
lsof -u ^root
備註:^這個符號在用戶名之前,將會把是root用戶打開的進程不讓顯示
10. 通過某個進程號顯示該進行打開的文件
lsof -p 1
11. 列出多個進程號對應的文件信息
lsof -p 123,456,789
12. 列出除了某個進程號,其他進程號所打開的文件信息
lsof -p ^1
13 . 列出所有的網路連接
lsof -i
14. 列出所有tcp 網路連接信息
lsof -i tcp
15. 列出所有udp網路連接信息
lsof -i udp
16. 列出誰在使用某個埠
lsof -i :3306
17. 列出誰在使用某個特定的udp埠
lsof -i udp:55
特定的tcp埠
lsof -i tcp:80
18. 列出某個用戶的所有活躍的網路埠
lsof -a -u test -i
19. 列出所有網路文件系統
lsof -N
20.域名socket文件
lsof -u
21.某個用戶組所打開的文件信息
lsof -g 5555
22. 根據文件描述列出對應的文件信息
lsof -d description(like 2)
23. 根據文件描述范圍列出文件信息
lsof -d 2-3
實用命令
10. linux使用tail查看日誌後自動刪除文件
使用crontab命令生成定時任務,每天shell腳本可以自動進行日誌清理。
為了避免手工刪除日誌核脊喊,考慮通過寫shell腳本來刪除30天以前的日誌文件,然後使用crontab命令生成定時任務,在每天早上0點1分調用上面的shell腳本進行日誌清理。
Linux是一種自由和野信開放源代碼的類UNIX操作系統。該改野操作系統的內核由林納斯·托瓦茲在1991年10月5日首次發布。