⑴ 伺服器log日誌大，掌握這些可正確快速定位錯誤！
在運維工作中，正確快速地定位錯誤是至關重要的技能。本文將分享一些實用的日誌分析技巧，幫助你有效處理大量的日誌文件。以下是一些快速定位錯誤的常用方法：
1. **動態查看日誌**：
- 使用 `tail -f` 可實時查看日誌文件的末尾部分，這對於監控日誌流非常有用。
- `cat` 命令則可以查看整個日誌文件內容。要將特定日誌輸出到新文件中，可以使用管道命令，如 `cat catalina.out >nanjiangtest.txt`。
2. **日誌文件的簡單命令使用**：
- `tail -n number catalina.out` 查看日誌文件最後的 `number` 行。
- `tail -n +number catalina.out` 從第 `number` 行開始查看後續的所有日誌。
- `head -n number catalina.out` 顯示日誌文件的前 `number` 行。
- `head -n -number catalina.out` 顯示除了最後 `number` 行外的所有日誌。
3. **根據關鍵字查找出行號**：
- 使用 `grep` 命令配合 `cat -n` 查找包含關鍵字的日誌行號，如 `cat -n catalina.out | grep "關鍵詞"`。
- 通過找到的行號，可以進一步查看上下文日誌，如 `cat -n catalina.out |tail -n +行號|head -n 10`。
4. **查看指定時間段內的日誌**：
- 使用 `grep` 命令過濾特定時間范圍內的日誌行，如 `grep '時間范圍' catalina.out`。
- 進一步細化時間范圍查詢，如 `sed` 命令配合時間范圍進行更精準的過濾。
5. **特定字元匹配數目**：
- `grep '特定字元' catalina.out | wc -l` 可計算特定字元在日誌中的出現次數。
6. **查詢最後 `number` 行並查找關鍵字**：
- 結合 `grep` 和 `tail` 命令，如 `tail -n 20 catalina.out | grep '關鍵字'`，用於快速定位最近的日誌行。
7. **對結果進行標紅**：
- 使用 `grep` 的 `--color` 選項查看日誌結果時，輸出的關鍵字會被標紅顯示，如 `tail -n 20 catalina.out | grep '關鍵字' --color`。
8. **上下擴展查看**：
- `grep` 結合 `tail` 和 `head` 命令，如 `tail -n 20 catalina.out | grep '關鍵字' --color -a2`，不僅顯示關鍵字行，還能擴展顯示上下兩行，幫助理解上下文。
9. **分頁查看**：
- 使用 `more` 或 `less` 命令分頁查看大量日誌，配合 `grep` 命令進行篩選，方便逐頁閱讀。
通過這些方法，你可以更有效地分析和定位日誌中的錯誤，提高運維效率。此外，整理和共享高質量的linux學習資源對於社區發展同樣重要。如果你在尋找Linux學習資料，可以參考以下鏈接獲取視頻、電子書、PPT等資源。
⑵ 如何查看linux系統下的各種日誌文件 linux 系統日誌的分析大全
日誌文件詳細地記錄了系統每天發生的各種各樣的事件。用戶可以通過日誌文件檢查錯誤產生的原因，或者在受到攻擊和黑客入侵時追蹤攻擊者的蹤跡。日誌的兩個比較重要的作用是：審核和監測。
Linux系統的日誌主要分為兩種類型：
1．進程所屬日誌
由用戶進程或其他系統服務進程自行生成的日誌，比如伺服器上的access_log與error_log日誌文件。
2．syslog消息
系統syslog記錄的日誌，任何希望記錄日誌的系統進程或者用戶進程都可以給調用syslog來記錄日誌。
日誌系統可以劃分為三個子系統：
1． 連接時間日誌--由多個程序執行，把紀錄寫入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系統管理員能夠跟蹤誰在何時登錄到系統。
2． 進程統計--由系統內核執行。當一個進程終止時，為每個進程往進程統計文件（pacct或acct）中寫一個紀錄。進程統計的目的是為系統中的基本服務提供命令使用統計。
3． 錯誤日誌--由syslogd（8）執行。各種系統守護進程、用戶程序和內核通過syslog（3）向文件/var/log/messages報告值得注意的事件。
2．察看日誌文件
Linux系統所有的日誌文件都在/var/log下，且必須有root許可權才能察看。
日誌文件其實是純文本的文件，每一行就是一個消息。察看方式有很多。
1． cat命令。日誌文件總是很大的，因為從第一次啟動Linux開始，消息都累積在日誌文件中。如果這個文件不只一頁，那麼就會因為顯示滾動得太快看不清文件的內容。
2． 文本編輯器。最好也不要用文本編輯器打開日誌文件，這是因為一方面很耗費內存，另一方面不允許隨意改動日誌文件。
3．用more或less那樣的分頁顯示程序。
4．用grep查找特定的消息。
每一行表示一個消息，而且都由四個域的固定格式組成：
n 時間標簽（timestamp），表示消息發出的日期和時間
n 主機名（hostname）（在我們的例子中主機名為escher），表示生成消息的計算機的名字。如果只有一台計算機，主機名就可能沒有必要了。但是，如果在網路環境中使用syslog，那麼就可能要把不同主機的消息發送到一台伺服器上集中處理。
n 生成消息的子系統的名字。可以是"kernel"，表示消息來自內核，或者是進程的名字，表示發出消息的程序的名字。在方括弧里的是進程的PID。
n 消息（message），剩下的部分就是消息的內容。
舉例：
在[root@localhost root]# 提示符下輸入：tail /var/log/messages
Jan 05 21:55:51 localhost last message repeated 3 times
Jan 05 21:55:51 localhost kernel: [drm] AGP 0.99 on Intel i810 @ 0xf0000000 128M
B
Jan 05 21:55:51 localhost kernel: [drm] Initialized i830 1.3.2 20021108 on minor
0
Jan 05 21:55:51 localhost kernel: mtrr: base(0xf0000000) is not aligned on a siz
e(0x12c000) boundary
Jan 05 21:56:35 localhost 1月 28 21:56:35 gdm(pam_unix)[4079]: session opened f
or user root by (uid=0)
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 正在啟動（版本 2.
2.0），pid 4162 用戶"root"
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adonly:/etc/gconf/gconf.xml.mandatory"指向位於 0 的只讀配置源
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adwrite:/root/.gconf"指向位於 1 的可寫入配置源
Jan 05 21:56:39 localhost 1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re
adonly:/etc/gconf/gconf.xml.defaults"指向位於 2 的只讀配置源
Jan 05 21:58:20 localhost kernel: MSDOS FS: IO charset cp936
值得注意的是，與連接時間日誌不同，進程統計子系統默認不激活，它必須啟動。在Linux
系統中啟動進程統計使用accton命令，必須用root身份來運行。accton命令的形式為：accton
file，file必須事先存在。先使用touch命令創建pacct文件：touch
/var/log/pacct，然後運行accton：accton
/var/log/pacct。一旦accton被激活，就可以使用lastcomm命令監測系統中任何時候執行的命令。若要關閉統計，可以使用不帶任何
參數的accton命令。
3．日誌系統工作原理及配置
3.1 syslog
它同closelog, openlog共同給system logger發送消息。
Linux內核由很多子系統組成，包括網路、文件訪問、內存管理等。子系統需要給用戶傳送一些消息，這些消息內容包括消息的來源及其重要性等。所有的子系統都要把消息送到一個可以維護的公用消息區。於是，就有了一個叫Syslog的程序。
這個程序負責接收消息（比如：系統核心和許多系統程序產生的錯誤信息、警告信息和其他信息，每個信息都包括重要級），並把消息分發到合適的地方。通常情況
下，所有的消息都被記錄到特定的文件——日誌文件中（通常是/var/adm或/var/log目錄下的messages文件），特別重要的消息也會在用
戶終端窗口上顯示出來。
syslog工具有兩個重要文件：syslogd和syslog.Conf
它能接受訪問系統的日誌信息並且根據 "/etc/syslog.conf" 配置文件中的指令處理這些信息。守護進程和內核提供了訪問系統的日誌信息。因此，任何希望生成日誌信息的程序都可以向 syslog 介面呼叫生成該信息。
3.2 syslogd守護進程
就象其它復雜的操作系統那樣，Linux也是由很多不同的子系統組成的。有些叫做daemon的程序一直在後台運行（daemon：守護神之意。也就是
說，他們"默默無聞"，不需要和用戶交互），處理一些象列印、發送郵件、建立Internet連接，等等日常工作。每一個子系統發出日誌消息的時候都會給
消息指定一個類型。一個消息分成兩個部分："設備（facility）"和"級別(level)"。"設備"標識發出消息的子系統，可以把同一類型的消息組合在一起，"級別"表示消息的重要性，其范圍從debug（最不重要）到emerg（最重要），facility和level組合起來稱為priority。（詳細解釋參照5.3）
/usr/include/sys/syslog.h中對此有相關的定義。
用戶看不到daemon程序，因為它們沒有窗口和用戶界面。但是，這些程序有時候也要給用戶傳遞一些信息。為了實現這個目的，就需要一個特殊的機制。syslogd就是daemon的一個很好的例子，它在後台運行並且把消息從日誌區轉移到日誌文件中去。
函數介面
#include
void openlog( char * , int , int )
其中，可以是以下值的OR組合：
LOG_CONS : 如果消息無法送到syslogd，直接輸出到系統console。
LOG_NDELAY : 立即打開到syslogd的連接，默認連接是在第一次寫入訊息時才打開的。
LOG_PERROR : 將消息也同時送到stderr 上
LOG_PID : 將PID記錄到每個消息中
void syslog( int , char * )
其中，是facility和level的OR組合
void closelog( void )
一般只需要用syslog()函數，其他函數可以不用。
3.3 syslog.conf
這是一個非常重要的文件。位於"/etc/"目錄下。通知 syslogd 如何根據設備和信息重要級別來報告信息。
該文件使用下面的形式：
facility.level action
syslog.conf 的第一列facility.level用來指定日誌功能和日誌級別，中間用.隔開，可以使用*來匹配
所有的日誌功能和日誌級別。第二列action是消息的分發目標。
空白行和以#開頭的行是注釋，可以忽略。
Facility.level 欄位也被稱做選擇域（seletor）。
n facility 指定 syslog 功能，主要包括以下這些：
auth 由 pam_pwdb 報告的認證活動。
authpriv 包括特權信息如用戶名在內的認證活動
cron 與 cron 和 at 有關的信息。
daemon 與 inetd 守護進程有關的信息。
kern 內核信息，首先通過 klogd 傳遞。
lpr 與列印服務有關的信息。
mail 與電子郵件有關的信息
mark syslog 內部功能用於生成時間戳
news 來自新聞伺服器的信息
syslog 由 syslog 生成的信息
user 由用戶程序生成的信息
uucp 由 uucp 生成的信息
local0----local7 與自定義程序使用，例如使用 local5 做為 ssh 功能
* 通配符代表除了 mark 以外的所有功能
level 級別，決定訊息的重要性。
與每個功能對應的優先順序是按一定順序排列的，emerg 是最高級，其次是 alert，依次類推。預設時，在 /etc/syslog.conf 記錄中指定的級別為該級別和更高級別。如果希望使用確定的級別可以使用兩個運算符號！(不等)和=。
例如：user.=info 表示告知 syslog 接受所有在 info 級別上的 user 功能信息。
n 以下的等級重要性逐次遞減:
emerg 該系統不可用
alert 需要立即被修改的條件
crit 阻止某些工具或子系統功能實現的錯誤條件
err 阻止工具或某些子系統部分功能實現的錯誤條件
warning 預警信息
notice 具有重要性的普通條件
info 提供信息的消息
debug 不包含函數條件或問題的其他信息
none 沒有重要級，通常用於排錯
* 所有級別，除了none
n action 欄位為動作域，所表示的活動具有許多靈活性，特別是，可以使用名稱管道的作用是可以使 syslogd 生成後處理信息。
syslog 主要支持以下活動：
file 將消息追加到指定的文件尾
terminal 或 print 完全的串列或並行設備標志符
@host 遠程的日誌伺服器
username 將消息寫到指定的用戶
named pipe 指定使用 mkfifo 命令來創建的 FIFO 文件的絕對路徑。
* 將消息寫到所有的用戶
選擇域指明消息的類型和優先順序；動作域指明syslogd接收到一個與選擇標准相匹配的消息時所執行的動作。每個選項是由設備和優先順序組成。當指明一個優先順序時，syslogd將紀錄一個擁有相同或更高優先順序的消息。比如如果指明"crit"，則所有標為crit、alert和emerg的消息將被紀錄。每行的行動域指明當選擇域選擇了一個給定消息後應該把他發送到什麼地方。
以下是一個實際站點的配置（syslog.conf）文件：
# Store critical stuff in critical
#
*.=crit;kern.none /var/adm/critical
這個將把所有信息以優先權的crit保存在/var/adm/critical文件中，除了一些內核信息
# Kernel messages are first, stored in the kernel
# file, critical messages and higher ones also go
# to another host and to the console
#
kern.* /var/adm/kernel
kern.crit @finlandia
kern.crit /dev/console
kern.info;kern.!err /var/adm/kernel-info
第一條代碼指引一些內核設備訪問文件/var/adm/kernel的信息。
第二條代碼直接引導所有擁有crit和更高優先權的內核信息訪問遠程主機。如果它們也存儲在遠程主機上，仍舊可以試著找到毀壞的原因。
第四行說明syslogd 保存了所有擁有info 到warning優先順序的內核信息在/var/adm/kernel-info文件夾下。所有err和更高優先順序的被排除在外。
# The tcp wrapper loggs with mail.info, we display
# all the connections on tty12
#
mail.=info /dev/tty12
這個引導所有使用mail.info (in source LOG_MAIL | LOG_INFO)的信息到/dev/tty12下，第12
個控制台。例如tcpwrapper
tcpd
(8)載預設時使用這個
# Store all mail concerning stuff in a file
mail.*;mail.!=info /var/adm/mail
模式匹配了所有具有mail功能的信息，除了擁有info優先順序的。他們將被保存在文件/var/adm/mail中
# Log all mail.info and news.info messages to info
#
mail,news.=info /var/adm/info
提取所有具有mail.info 或news.info 功能優先順序的信息存儲在文件/var/adm/info中
# Log info and notice messages to messages file
#
*.=info;*.=notice;\
mail.none /var/log/messages
使所有syslogd日誌中具有info 或notice功能的信息存儲在文件/var/log/messages中，除了所有mail功能的信息
# Log info messages to messages file
#
*.=info;\
mail,news.none /var/log/messages
這個聲明使syslogd日誌中所有具有info優先權的信息存儲在/var/log/messages文件中。但是一些有mail 或news功能的信息不能被存儲。
# Emergency messages will be displayed using wall
#
*.=emerg *
這行代碼告訴syslogd寫所有緊急信息到所有當前登陸用戶日誌中。這個將被實現
# Messages of the priority alert will be directed
# to the operator
#
*.alert root,joey
*.* @finlandia
這個代碼指引所有具有alert 或更高級許可權的信息到終端操作。
第二行代碼引導所有信息到叫做finlandia的遠程主機。這個代碼非常有用，特別是在所有syslog信息將被保存到一台機器上的群集計算機。
3.4 klogd 守護進程
klog是一個從UNIX內核接受消息的設備
klogd
守護進程獲得並記錄 Linux 內核信息。通常，syslogd 會記錄 klogd
傳來的所有信息。也就是說，klogd會讀取內核信息，並轉發到syslogd進程。然而，如果調用帶有 -f filename 變數的 klogd
時，klogd 就在 filename 中記錄所有信息，而不是傳給 syslogd。當指定另外一個文件進行日誌記錄時，klogd
就向該文件中寫入所有級別或優先權。Klogd 中沒有和 /etc/syslog.conf 類似的配置文件。使用 klogd 而避免使用
syslogd 的好處在於可以查找大量錯誤。
總結
其中，箭頭代表發送消息給目標進程或者將信息寫入目標文件。
圖1 Linux日誌系統
日誌管理及日誌保護
logrotate程序用來幫助用戶管理日誌文件，它以自己的守護進程工作。logrotate周期性地旋轉日誌文件，可以周期性地把每個日誌文件重命名
成一個備份名字，然後讓它的守護進程開始使用一個日誌文件的新的拷貝。在/var/log/下產生如maillog、maillog.1、
maillog.2、boot.log.1、boot.log.2之類的文件。它由一個配置文件驅動，該文件是
/etc/logroatate.conf。
以下是logroatate.conf文件例子：
# see "man logrotate" for details
# rotate log files weekly
weekly
#以7天為一個周期
# keep 4 weeks worth of backlogs
rotate 4
#每隔4周備份日誌文件
# send errors to root
errors root
#發生錯誤向root報告
# create new (empty) log files after rotating old ones
create
#轉完舊的日誌文件就創建新的日誌文件
# uncomment this if you want your log files compressed
#compress
#指定是否壓縮日誌文件
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d
# no packages own lastlog or wtmp -- we'll rotate them here
/var/log/wtmp {
monthly
create 0664 root utmp
rotate 1
}
# system-specific logs may be configured here
在網路應用中，有一種保護日誌的方式，在網路中設定一台秘密的syslog主機，把這台主機的網卡設為混雜模式，用來監聽子網內所有的syslog包，這
樣把所有需要傳送日誌的主機配置為向一台不存在的主機發送日誌即可。這樣即使黑客攻陷了目標主機，也無法通過syslog.conf文件找到備份日誌的主
機，那隻是一個不存在的主機。實際操作中還可以輔以交換機的配置，以確保syslog包可以被備份日誌主機上的syslog進程接受到。比如把
syslog.conf中的傳送日誌主機設為
@192.168.0.13，但實際網路中不存在這個日誌主機，實際可能是192.168.0.250或者其他主機正在接受syslog包。