網路數據協議分析

Ⅰ TCP協議詳解及實戰解析【精心整理收藏】

TCP協議是在TCP/IP協議模型中的運輸層中很重要的一個協議、負責處理主機埠層面之間的數據傳輸。主要有以下特點：

1.TCP是面向鏈接的協議，在數據傳輸之前需要通過三次握手建立TCP鏈接，當數據傳遞完成之後，需要通過四次揮手進行連接釋放。

2.每一條TCP通信都是兩台主機和主機之間的，是點對點傳輸的協議。

3.TCP提供可靠的、無差錯、不丟失、不重復，按序到達的服務。

4.TCP的通信雙方在連接建立的任何時候都可以發送數據。TCP連接的兩端都設有發送緩存和接收緩存，用來臨時存放雙向通信的數據。

5.面向位元組流。在數據傳輸的過程中如果報文比較長的話TCP會進行數據分段傳輸，每一條分段的TCP傳輸信息都帶有分段的序號，每一段都包含一部分位元組流。接收方根據每段攜帶的的序號信息進行數據拼接，最終拼接出來初始的傳輸數據。但是在整個傳輸的過程中每一段TCP攜帶的都是被切割的位元組流數據。所以說TCP是面向位元組流的。

a.TCP和UDP在發送報文時所採用的方式完全不同。TCP並不關心應用程序一次把多長的報文發送到TCP緩存中，而是根據對方給出的窗口值和當前網路擁塞的程度來決定一個報文段應包含多少個位元組（UDP發送的報文長度是應用程序給出的）。
b.如果應用程序傳送到TCP緩存的數據塊太大，TCP就可以把它劃分短一些再傳。TCP也可以等待積累有足夠多的位元組後再構建成報文段發送出去。

各欄位含義：

源埠：發送端的埠號

目的埠：接收端的埠號

序號：TCP將發送報文分段傳輸的時候會給每一段加上序號，接收端也可以根據這個序號來判斷數據拼接的順序，主要用來解決網路報亂序的問題

確認號：確認號為接收端收到數據之後進行排序確認以及發送下一次期待接收到的序號，數值 = 接收到的發送號 + 1

數據偏移：佔4比特，表示數據開始的地方離TCP段的起始處有多遠。實際上就是TCP段首部的長度。由於首部長度不固定，因此數據偏移欄位是必要的。數據偏移以32位為長度單位，因此TCP首部的最大長度是60（15*4）個位元組。

控制位：

URG：此標志表示TCP包的緊急指針域有效，用來保證TCP連接不被中斷，並且督促 中間層設備要盡快處理這些數據;

ACK：此標志表示應答域有效，就是說前面所說的TCP應答號將會包含在TCP數據包中;有兩個取值：0和1， 為1的時候表示應答域有效，反之為0;

PSH：這個標志位表示Push操作。所謂Push操作就是指在數據包到達接收端以後，立即傳送給應用程序， 而不是在緩沖區中排隊;

RST：這個標志表示連接復位請求。用來復位那些產生錯誤的連接，也被用來拒絕錯誤和非法的數據包;

SYN：表示同步序號，用來建立連接。SYN標志位和ACK標志位搭配使用，當連接請求的時候，SYN=1， ACK=0;連接被響應的時候，SYN=1，ACK=1;這個標志的數據包經常被用來進行埠掃描。掃描者發送 一個只有SYN的數據包，如果對方主機響應了一個數據包回來 ，就表明這台主機存在這個埠;但是由於這 種掃描方式只是進行TCP三次握手的第一次握手，因此這種掃描的成功表示被掃描的機器不很安全，一台安全 的主機將會強制要求一個連接嚴格的進行TCP的三次握手;

FIN： 表示發送端已經達到數據末尾，也就是說雙方的數據傳送完成，沒有數據可以傳送了，發送FIN標志 位的TCP數據包後，連接將被斷開。這個標志的數據包也經常被用於進行埠掃描。

窗口：TCP里很重要的一個機制，佔2位元組，表示報文段發送方期望接收的位元組數，可接收的序號范圍是從接收方的確認號開始到確認號加上窗口大小之間的數據。後面會有實例講解。

校驗和：校驗和包含了偽首部、TCP首部和數據，校驗和是TCP強制要求的，由發送方計算，接收方驗證

緊急指針：URG標志為1時，緊急指針有效，表示數據需要優先處理。緊急指針指出在TCP段中的緊急數據的最後一個位元組的序號，使接收方可以知道緊急數據共有多長。

選項：最常用的選項是最大段大小（Maximum Segment Size，MSS），向對方通知本機可以接收的最大TCP段長度。MSS選項只在建立連接的請求中發送。

放在乙太網幀里看TCP的位置

TCP 數據包在 IP 數據包的負載裡面。它的頭信息最少也需要20位元組，因此 TCP 數據包的最大負載是 1480 - 20 = 1460 位元組。由於 IP 和 TCP 協議往往有額外的頭信息，所以 TCP 負載實際為1400位元組左右。

因此，一條1500位元組的信息需要兩個 TCP 數據包。HTTP/2 協議的一大改進， 就是壓縮 HTTP 協議的頭信息，使得一個 HTTP 請求可以放在一個 TCP 數據包裡面，而不是分成多個，這樣就提高了速度。

乙太網數據包的負載是1500位元組，TCP 數據包的負載在1400位元組左右

一個包1400位元組，那麼一次性發送大量數據，就必須分成多個包。比如，一個 10MB 的文件，需要發送7100多個包。

發送的時候，TCP 協議為每個包編號（sequence number，簡稱 SEQ），以便接收的一方按照順序還原。萬一發生丟包，也可以知道丟失的是哪一個包。

第一個包的編號是一個隨機數。為了便於理解，這里就把它稱為1號包。假定這個包的負載長度是100位元組，那麼可以推算出下一個包的編號應該是101。這就是說，每個數據包都可以得到兩個編號：自身的編號，以及下一個包的編號。接收方由此知道，應該按照什麼順序將它們還原成原始文件。

收到 TCP 數據包以後，組裝還原是操作系統完成的。應用程序不會直接處理 TCP 數據包。

對於應用程序來說，不用關心數據通信的細節。除非線路異常，否則收到的總是完整的數據。應用程序需要的數據放在 TCP 數據包裡面，有自己的格式（比如 HTTP 協議）。

TCP 並沒有提供任何機制，表示原始文件的大小，這由應用層的協議來規定。比如，HTTP 協議就有一個頭信息Content-Length，表示信息體的大小。對於操作系統來說，就是持續地接收 TCP 數據包，將它們按照順序組裝好，一個包都不少。

操作系統不會去處理 TCP 數據包裡面的數據。一旦組裝好 TCP 數據包，就把它們轉交給應用程序。TCP 數據包裡面有一個埠（port）參數，就是用來指定轉交給監聽該埠的應用程序。

應用程序收到組裝好的原始數據，以瀏覽器為例，就會根據 HTTP 協議的Content-Length欄位正確讀出一段段的數據。這也意味著，一次 TCP 通信可以包括多個 HTTP 通信。

伺服器發送數據包，當然越快越好，最好一次性全發出去。但是，發得太快，就有可能丟包。帶寬小、路由器過熱、緩存溢出等許多因素都會導致丟包。線路不好的話，發得越快，丟得越多。

最理想的狀態是，在線路允許的情況下，達到最高速率。但是我們怎麼知道，對方線路的理想速率是多少呢？答案就是慢慢試。

TCP 協議為了做到效率與可靠性的統一，設計了一個慢啟動（slow start）機制。開始的時候，發送得較慢，然後根據丟包的情況，調整速率：如果不丟包，就加快發送速度；如果丟包，就降低發送速度。

Linux 內核裡面 設定 了（常量TCP_INIT_CWND），剛開始通信的時候，發送方一次性發送10個數據包，即"發送窗口"的大小為10。然後停下來，等待接收方的確認，再繼續發送。

默認情況下，接收方每收到 兩個 TCP 數據包，就要 發送 一個確認消息。"確認"的英語是 acknowledgement，所以這個確認消息就簡稱 ACK。

ACK 攜帶兩個信息。

發送方有了這兩個信息，再加上自己已經發出的數據包的最新編號，就會推測出接收方大概的接收速度，從而降低或增加發送速率。這被稱為"發送窗口"，這個窗口的大小是可變的。

注意，由於 TCP 通信是雙向的，所以雙方都需要發送 ACK。兩方的窗口大小，很可能是不一樣的。而且 ACK 只是很簡單的幾個欄位，通常與數據合並在一個數據包裡面發送。

即使對於帶寬很大、線路很好的連接，TCP 也總是從10個數據包開始慢慢試，過了一段時間以後，才達到最高的傳輸速率。這就是 TCP 的慢啟動。

TCP 協議可以保證數據通信的完整性，這是怎麼做到的？

前面說過，每一個數據包都帶有下一個數據包的編號。如果下一個數據包沒有收到，那麼 ACK 的編號就不會發生變化。

舉例來說，現在收到了4號包，但是沒有收到5號包。ACK 就會記錄，期待收到5號包。過了一段時間，5號包收到了，那麼下一輪 ACK 會更新編號。如果5號包還是沒收到，但是收到了6號包或7號包，那麼 ACK 裡面的編號不會變化，總是顯示5號包。這會導致大量重復內容的 ACK。

如果發送方發現收到 三個 連續的重復 ACK，或者超時了還沒有收到任何 ACK，就會確認丟包，即5號包遺失了，從而再次發送這個包。通過這種機制，TCP 保證了不會有數據包丟失。

TCP是一個滑動窗口協議，即一個TCP連接的發送端在某個時刻能發多少數據是由滑動窗口控制的，而滑動窗口的大小實際上是由兩個窗口共同決定的，一個是接收端的通告窗口，這個窗口值在TCP協議頭部信息中有，會隨著數據的ACK包發送給發送端，這個值表示的是在接收端的TCP協議緩存中還有多少剩餘空間，發送端必須保證發送的數據不超過這個剩餘空間以免造成緩沖區溢出，這個窗口是接收端用來進行流量限制的，在傳輸過程中，通告窗口大小與接收端的進程取出數據的快慢有關。另一個窗口是發送端的擁塞窗口(Congestion window)，由發送端維護這個值，在協議頭部信息中沒有，滑動窗口的大小就是通告窗口和擁塞窗口的較小值，所以擁塞窗口也看做是發送端用來進行流量控制的窗口。滑動窗口的左邊沿向右移動稱為窗口合攏，發生在發送的數據被確認時（此時，表明數據已被接收端收到，不會再被需要重傳，可以從發送端的發送緩存中清除了），滑動窗口的右邊沿向右移動稱為窗口張開，發生在接收進程從接收端協議緩存中取出數據時。隨著發送端不斷收到的被發送數據的ACK包，根據ACK包中的確認序號和通告窗口大小使滑動窗口得以不斷的合攏和張開，形成滑動窗口的向前滑動。如果接收進程一直不取數據，則會出現0窗口現象，即滑動窗口左邊沿與右邊沿重合，此時窗口大小為0，就無法再發送數據。

在TCP里，接收端(B)會給發送端(A)報一個窗口的大小，叫Advertised window。

1.在沒有收到B的確認情況下，A可以連續把窗口內的數據都發送出去。凡是已經發送過的數據，在

未收到確認之前都必須暫時保留，以便在超時重傳時使用。

2.發送窗口裡面的序號表示允許發送的序號。顯然，窗口越大，發送方就可以在收到對方確認之前連續

發送更多數據，因而可能獲得更高的傳輸效率。但接收方必須來得及處理這些收到的數據。

3.發送窗口後沿的後面部分表示已發送且已收到確認。這些數據顯然不需要再保留了。

4.發送窗口前沿的前面部分表示不允許發送的，應為接收方都沒有為這部分數據保留臨時存放的緩存空間。

5.發送窗口後沿的變化情況有兩種：不動（沒有收到新的確認）和前移（收到了新的確認）

6.發送窗口前沿的變化情況有兩種：不斷向前移或可能不動（沒收到新的確認）

TCP的發送方在規定時間內沒有收到確認就要重傳已發送的報文段。這種重傳的概念很簡單，但重傳時間的選擇確是TCP最復雜的問題之一。TCP採用了一種自適應演算法，它記錄一個報文段發出的時間，以及收到響應的確認的時間

這兩個時間之差就是報文段的往返時間RTT。TCP保留了RTT的一個加權平均往返時間。超時重傳時間RTO略大於加權平均往返時間

RTT：
即Round Trip Time，表示從發送端到接收端的一去一回需要的時間，tcp在數據傳輸過程中會對RTT進行采樣（即對發送的數據包及其ACK的時間差進行測量，並根據測量值更新RTT值，具體的演算法TCPIP詳解裡面有），TCP根據得到的RTT值更新RTO值，即Retransmission TimeOut，就是重傳間隔，發送端對每個發出的數據包進行計時，如果在RTO時間內沒有收到所發出的數據包的對應ACK，則任務數據包丟失，將重傳數據。一般RTO值都比采樣得到的RTT值要大。

如果收到的報文段無差錯，只是未按序號，中間還缺少一些序號的數據，那麼能否設法只傳送缺少的數據而不重傳已經正確到達接收方的數據？

答案是可以的，選擇確認就是一種可行的處理方法。

如果要使用選項確認SACK，那麼在建立TCP連接時，就要在TCP首部的選項中加上「允許SACK」的選項，而雙方必須都事先商定好。如果使用選擇確認，

那麼原來首部中的「確認號欄位」的用法仍然不變。SACK文檔並沒有明確發送方應當怎麼響應SACK.因此大多數的實現還是重傳所有未被確認的數據塊。

一般說來，我們總是希望數據傳輸的更快一些，但如果發送方把數據發送的過快，接收方就可能來不及接收，這會造成數據的丟失。所謂流量控制就是讓發送方的發送速率不要太快，要讓接收方來得及接收。

在計算機網路中的鏈路容量，交換節點中的緩存和處理機等，都是網路的資源。在某段時間，若對網路中某一資源的需求超過了該資源所能提供的可用部分，網路的性能就要變壞。這種情況就叫做擁塞。

擁塞控制方法：

1.慢開始和擁塞避免

2.快重傳和快恢復

3.隨機早期檢測

1.一開始，客戶端和服務端都處於CLOSED狀態

2.先是服務端主動監聽某個埠，處於LISTEN狀態（比如服務端啟動，開始監聽）。

3.客戶端主動發起連接SYN，之後處於SYN-SENT狀態（第一次握手，發送 SYN = 1 ACK = 0 seq = x ack = 0）。

4.服務端收到發起的連接，返回SYN，並且ACK客戶端的SYN，之後處於SYN-RCVD狀態（第二次握手，發送 SYN = 1 ACK = 1 seq = y ack = x + 1）。

5.客戶端收到服務端發送的SYN和ACK之後，發送ACK的ACK，之後處於ESTABLISHED狀態（第三次握手，發送 SYN = 0 ACK = 1 seq = x + 1 ack = y + 1）。

6.服務端收到客戶端的ACK之後，處於ESTABLISHED狀態。

（需要注意的是，有可能X和Y是相等的，可能都是0，因為他們代表了各自發送報文段的序號。）

TCP連接釋放四次揮手

1.當前A和B都處於ESTAB-LISHED狀態。

2.A的應用進程先向其TCP發出連接釋放報文段，並停止再發送數據，主動關閉TCP連接。

3.B收到連接釋放報文段後即發出確認，然後B進入CLOSE-WAIT(關閉等待)狀態。TCP伺服器進程這時應通知高層應用進程，因而從A到B這個方向的連接就釋放了，這時TCP連接處於半關閉狀態，即A已經沒有數據發送了。

從B到A這個方向的連接並未關閉，這個狀態可能會持續一些時間。

4.A收到來自B的確認後，就進入FIN-WAIT-2(終止等待2)狀態，等待B發出的連接釋放報文端。

5.若B已經沒有向A發送的數據，B發出連接釋放信號，這時B進入LAST-ACK(最後確認)狀態等待A的確認。

6.A再收到B的連接釋放消息後，必須對此發出確認，然後進入TIME-WAIT（時間等待）狀態。請注意，現在TCP連接還沒有釋放掉，必須經過時間等待計時器（TIME－WAIT timer）設置的時間2MSL後，A才進入CLOSED狀態。

7。B收到A發出的確認消息後，進入CLOSED狀態。

以請求網路為例，看一下三次握手真實數據的TCP連接建立過程

我們再來看四次揮手。TCP斷開連接時，會有四次揮手過程，標志位是FIN，我們在封包列表中找到對應位置，理論上應該找到4個數據包，但我試了好幾次，實際只抓到3個數據包。查了相關資料，說是因為伺服器端在給客戶端傳回的過程中，將兩個連續發送的包進行了合並。因此下面會按照合並後的三次揮手解釋，若有錯誤之處請指出。

第一步，當主機A的應用程序通知TCP數據已經發送完畢時，TCP向主機B發送一個帶有FIN附加標記的報文段（FIN表示英文finish）。

第二步，主機B收到這個FIN報文段之後，並不立即用FIN報文段回復主機A，而是先向主機A發送一個確認序號ACK，同時通知自己相應的應用程序：對方要求關閉連接（先發送ACK的目的是為了防止在這段時間內，對方重傳FIN報文段）。

第三步，主機B的應用程序告訴TCP：我要徹底的關閉連接，TCP向主機A送一個FIN報文段。

第四步，主機A收到這個FIN報文段後，向主機B發送一個ACK表示連接徹底釋放。

這是因為服務端在LISTEN狀態下，收到建立連接請求的SYN報文後，把ACK和SYN放在一個報文里發送給客戶端。而關閉連接時，當收到對方的FIN報文時，僅僅表示對方不再發送數據了但是還能接收數據，己方也未必全部數據都發送給對方了，所以己方可以立即close，也可以發送一些數據給對方後，再發送FIN報文給對方來表示同意現在關閉連接，因此，己方ACK和FIN一般都會分開發送。

原因有二：
一、保證TCP協議的全雙工連接能夠可靠關閉
二、保證這次連接的重復數據段從網路中消失

先說第一點，如果Client直接CLOSED了，那麼由於IP協議的不可靠性或者是其它網路原因，導致Server沒有收到Client最後回復的ACK。那麼Server就會在超時之後繼續發送FIN，此時由於Client已經CLOSED了，就找不到與重發的FIN對應的連接，最後Server就會收到RST而不是ACK，Server就會以為是連接錯誤把問題報告給高層。這樣的情況雖然不會造成數據丟失，但是卻導致TCP協議不符合可靠連接的要求。所以，Client不是直接進入CLOSED，而是要保持TIME_WAIT，當再次收到FIN的時候，能夠保證對方收到ACK，最後正確的關閉連接。

再說第二點，如果Client直接CLOSED，然後又再向Server發起一個新連接，我們不能保證這個新連接與剛關閉的連接的埠號是不同的。也就是說有可能新連接和老連接的埠號是相同的。一般來說不會發生什麼問題，但是還是有特殊情況出現：假設新連接和已經關閉的老連接埠號是一樣的，如果前一次連接的某些數據仍然滯留在網路中，這些延遲數據在建立新連接之後才到達Server，由於新連接和老連接的埠號是一樣的，又因為TCP協議判斷不同連接的依據是socket pair，於是，TCP協議就認為那個延遲的數據是屬於新連接的，這樣就和真正的新連接的數據包發生混淆了。所以TCP連接還要在TIME_WAIT狀態等待2倍MSL，這樣可以保證本次連接的所有數據都從網路中消失。

硬體速度
網路和伺服器的負載
請求和響應報文的尺寸
客戶端和伺服器之間的距離
TCP 協議的技術復雜性

TCP 連接建立握手；
TCP 慢啟動擁塞控制；
數據聚集的 Nagle 演算法；
用於捎帶確認的 TCP 延遲確認演算法；
TIME_WAIT 時延和埠耗盡。

介紹完畢，就這？
是的，就這。

補充：

大部分內容為網路整理，方便自己學習回顧，參考文章：
TCP 協議簡介
TCP協議圖文詳解
什麼是TCP協議？
wireshark抓包分析——TCP/IP協議
TCP協議的三次握手和四次揮手
TCP協議詳解
TCP帶寬和時延的研究(1)

Ⅱ 試分析TCP/IP協議的體系結構和特點

1、TCP/IP體系結構

TCP/IP協議實際上就是在物理網上的一組完整的網路協議。其中TCP是提供傳輸層服務，而IP則是提供網路層服務。TCP/IP包括以下協議：

IP： 網間協議(Internet Protocol) 負責主機間數據的路由和網路上數據的存儲。同時為ICMP，TCP，UDP提供分組發送服務。用戶進程通常不需要涉及這一層。

ARP： 地址解析協議(Address Resolution Protocol)，此協議將網路地址映射到硬體地址。

RARP： 反向地址解析協議(Reverse Address Resolution Protocol)，此協議將硬體地址映射到網路地址。

ICMP： 網間報文控制協議(Internet Control Message Protocol)，此協議處理信關和主機的差錯和傳送控制。

TCP： 傳送控制協議(Transmission Control Protocol)，這是一種提供給用戶進程的可靠的全雙工位元組流面向連接的協議。它要為用戶進程提供虛電路服務，並為數據可靠傳輸建立檢查。（註：大多數網路用戶程序使用TCP）

UDP： 用戶數據報協議(User Datagram Protocol)，這是提供給用戶進程的無連接協議，用於傳送數據而不執行正確性檢查。

FTP： 文件傳輸協議(File Transfer Protocol)，允許用戶以文件操作的方式（文件的增、刪、改、查、傳送等）與另一主機相互通信。

SMTP： 簡單郵件傳送協議(Simple Mail Transfer Protocol)，SMTP協議為系統之間傳送電子郵件。

TELNET：終端協議(Telnet Terminal Procotol)，允許用戶以虛終端方式訪問遠程主機。

HTTP： 超文本傳輸協議(Hypertext Transfer Procotol)。

TFTP: 簡單文件傳輸協議(Trivial File Transfer Protocol)。

2、TCP/IP特點：

TCP/IP協議的核心部分是傳輸層協議(TCP、UDP)，網路層協議(IP)和物理介面層，這三層通常是在操作系統內核中實現。因此用戶一般不涉及。編程時，編程界面有兩種形式：

（1）是由內核心直接提供的系統調用；

（2）使用以庫函數方式提供的各種函數。前者為核內實現，後者為核外實現。用戶服務要通過核外的應用程序才能實現，所以要使用套接字(socket)來實現。

Ⅲ 基於winpcap編寫捕獲網路數據包，並分析數據包中使用了哪些網路協議

網路數據包中最常用的協議為TCP/IP協議。
Internet是由一些通信介質（最早是電話線，然後是電纜、微波和光纖）把各種類型的電腦聯系在一起，並統一採用TCP/IP協議標准，互相聯通，共享信息資源的電腦體系。
TCP/IP協議負責把需要傳輸的信息分割成許多「小包」（也叫做數據包），然後把這些數據包發往目的地，它能有效地保證傳輸的安全性和正確性。
在Internet內部，信息不是以一個恆定的流從主機傳送到主機，而是把數據分解成數據包進行傳送，一個數據包用一個序號和一個接收地址來標定。TCP還插入一些糾錯信息。
接著是數據包被傳過網路，IP把它們傳送給遠程主機，TCP接收到數據包並核查錯誤。如果有錯誤發生，TCP可以要求重發這個特定的數據包，只要所有的數據包都被正確地接收到，TCP會用序號來重構原始信息。
把數據分解為數據包的好處是允許Internet讓很多不同的用戶在同一段時間使用同一通訊線路，因為這些數據包不必一起輸送，所以通訊線路可以載著所有類型的數據包按它們自己的路徑從一地到另一地。
用數據包傳輸的另一個好處是，當一處出錯，只須重新傳送單個數據包，而不是整個信息，這樣會大大加快Internet的傳輸總速度。

Ⅳ 什麼是網路協議分析工具

網路協議分析工具，也就是用於TCP/IP網路協議分析的軟體工具套件。 網路協議工具可以獲得區域網內各節點計算機的大量基本信息，利用WinPcap過濾、捕獲流經本地的區域網幀信息，可以加以分析和顯示，系統還編輯、發送各種類型的信包，同時捕獲、分析對發送信包的響應信包，從而觀察發送信包後對方的相應響應。該系統的設計與實現對於TCP/IP網路協議的開發、調試和測試提供了一個有力的工具套件。
隨著網路技術的快速發展，計算機網路正發揮著越來越大的作用。網路環境變得越來越復雜，與此同時，網路系統的安全問題也越來越重要，對網路系統和網路安全領域的開發、調試和測試的工具提出了更高的要求。