導航:首頁 > 網路數據 > netty接收的最大數據

netty接收的最大數據

發布時間:2023-03-01 22:27:36

1. java Netty NIO 如何突破 65536 個埠的限制如何做到 10萬~50萬 長連接

首先說一下 伺服器是只監聽一個埠,所有的客戶端連接,都是連接到伺服器的同一個埠上的。也就是說伺服器只是用了一個埠。就比如Http伺服器。默認只用了80埠。
這是解答一些人的這個疑惑。
下面來回答你的問題
nio 在linux上使用的是epoll ,epoll支持在一個進程中打開的FD是操作系統最大文件句柄數,而不是你所說的16位short表示的文件句柄。 而 select模型 單進程打開的FD是受限的 select模型默認FD是1024 。操作系統最大文件句柄數跟內存有關,1GB內存的機器上,大概是10萬個句柄左右。可以通過cat /proc/sys/fs/file-max 查看
這個可以在Netty權威指南第二版的第七頁看到。
我ubuntu虛擬機,2G內存。結果是 200496
2019/05/09 修正一下上面讓人誤會的地方
「伺服器是只監聽一個埠」 這句話 請參照這一段的最後一行 「就比如Http伺服器默認只用了80埠」 我這一段話里說的伺服器並不是指伺服器主機 硬體, 而是說 服務程序。 一個伺服器主機操作系統上 可以運行很多服務程序, 而通常都會說 Netty伺服器、Apache伺服器、tomcat伺服器、Mysql伺服器 , 這里是指 Netty服務端 Apache服務端 tomcat服務端 Mysql服務端 。 再比如 一個游戲的登錄伺服器 沒人會叫他 游戲Netty服務程序 或者Netty登錄服務程序 , 而會稱呼它是 Netty伺服器或者登錄伺服器 或者xxx游戲登錄伺服器之類的。 只是依照行業術語來說的 被誤會了很抱歉 這里解釋一下 。

再次回答一下這個問題 Netty NIO不用突破65536個埠限制 因為根本沒有這個埠限制問題 只有主動發起一個請求 才會佔用一個本地埠 主動發起10個請求 會佔用10個本地埠 我這里說的是長連接 Netty NIO是屬於服務程序 他只需要監聽一個埠 比如8000埠 這時候有10個客戶端 連接到這個Netty伺服器 都是10個客戶端全都連接到伺服器的8000埠 服務端只會佔用8000埠這一個埠 所以不需要突破65536埠限制

2. 100萬並發連接伺服器筆記之Java Netty處理1M連接會怎麼樣

每一種該語言在某些極限情況下的表現一般都不太一樣,那麼我常用的Java語言,在達到100萬個並發連接情況下,會怎麼樣呢,有些好奇,更有些期盼。
這次使用經常使用的順手的netty NIO框架(netty-3.6.5.Final),封裝的很好,介面很全面,就像它現在的域名 netty.io,專注於網路IO。
整個過程沒有什麼技術含量,淺顯分析過就更顯得有些枯燥無聊,准備好,硬著頭皮吧。
測試伺服器配置
運行在VMWare Workstation 9中,64位Centos 6.2系統,分配14.9G內存左右,4核。
已安裝有Java7版本
java version "1.7.0_21"
Java(TM) SE Runtime Environment (build 1.7.0_21-b11)
Java HotSpot(TM) 64-Bit Server VM (build 23.21-b01, mixed mode)

在/etc/sysctl.conf中添加如下配置:
fs.file-max = 1048576
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

在/etc/security/limits.conf中添加如下配置:
* soft nofile 1048576
* hard nofile 1048576

測試端
測試端無論是配置還是程序和以前一樣,翻看前幾篇博客就可以看到client5.c的源碼,以及相關的配置信息等。
伺服器程序
這次也是很簡單吶,沒有業務功能,客戶端HTTP請求,服務端輸出chunked編碼內容。
入口HttpChunkedServer.java:
唯一的自定義處理器HttpChunkedServerHandler.java:
啟動腳本start.sh
達到100萬並發連接時的一些信息
每次伺服器端達到一百萬個並發持久連接之後,然後關掉測試端程序,斷開所有的連接,等到伺服器端日誌輸出在線用戶為0時,再次重復以上步驟。在這反反復復的情況下,觀察內存等信息的一些情況。以某次斷開所有測試端為例後,當前系統佔用為(設置為list_free_1):
total used free shared buffers cached
Mem: 15189 7736 7453 0 18 120
-/+ buffers/cache: 7597 7592
Swap: 4095 948 3147

通過top觀察,其進程相關信息
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4925 root 20 0 8206m 4.3g 2776 S 0.3 28.8 50:18.66 java

在啟動腳本start.sh中,我們設置堆內存為6G。
ps aux|grep java命令獲得信息:
root 4925 38.0 28.8 8403444 4484764 ? Sl 15:26 50:18 java -server...HttpChunkedServer 8000

RSS佔用內存為4484764K/1024K=4379M
然後再次啟動測試端,在伺服器接收到online user 1023749時,ps aux|grep java內容為:
root 4925 43.6 28.4 8403444 4422824 ? Sl 15:26 62:53 java -server...

查看當前網路信息統計
ss -s
Total: 1024050 (kernel 1024084)
TCP: 1023769 (estab 1023754, closed 2, orphaned 0, synrecv 0, timewait 0/0), ports 12

Transport Total IP IPv6
* 1024084 - -
RAW 0 0 0
UDP 7 6 1
TCP 1023767 12 1023755
INET 1023774 18 1023756
FRAG 0 0 0

通過top查看一下
top -p 4925
top - 17:51:30 up 3:02, 4 users, load average: 1.03, 1.80, 1.19
Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie
Cpu0 : 0.9%us, 2.6%sy, 0.0%ni, 52.9%id, 1.0%wa, 13.6%hi, 29.0%si, 0.0%st
Cpu1 : 1.4%us, 4.5%sy, 0.0%ni, 80.1%id, 1.9%wa, 0.0%hi, 12.0%si, 0.0%st
Cpu2 : 1.5%us, 4.4%sy, 0.0%ni, 80.5%id, 4.3%wa, 0.0%hi, 9.3%si, 0.0%st
Cpu3 : 1.9%us, 4.4%sy, 0.0%ni, 84.4%id, 3.2%wa, 0.0%hi, 6.2%si, 0.0%st
Mem: 15554336k total, 15268728k used, 285608k free, 3904k buffers
Swap: 4194296k total, 1082592k used, 3111704k free, 37968k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4925 root 20 0 8206m 4.2g 2220 S 3.3 28.4 62:53.66 java

四核都被佔用了,每一個核心不太平均。這是在虛擬機中得到結果,可能真實伺服器會更好一些。 因為不是CPU密集型應用,CPU不是問題,無須多加關注。
系統內存狀況
free -m
total used free shared buffers cached
Mem: 15189 14926 263 0 5 56
-/+ buffers/cache: 14864 324
Swap: 4095 1057 3038

物理內存已經無法滿足要求了,佔用了1057M虛擬內存。
查看一下堆內存情況
jmap -heap 4925
Attaching to process ID 4925, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 23.21-b01

using parallel threads in the new generation.
using thread-local object allocation.
Concurrent Mark-Sweep GC

Heap Configuration:
MinHeapFreeRatio = 40
MaxHeapFreeRatio = 70
MaxHeapSize = 6442450944 (6144.0MB)
NewSize = 629145600 (600.0MB)
MaxNewSize = 629145600 (600.0MB)
OldSize = 5439488 (5.1875MB)
NewRatio = 2
SurvivorRatio = 1
PermSize = 52428800 (50.0MB)
MaxPermSize = 52428800 (50.0MB)
G1HeapRegionSize = 0 (0.0MB)

Heap Usage:
New Generation (Eden + 1 Survivor Space):
capacity = 419430400 (400.0MB)
used = 308798864 (294.49354553222656MB)
free = 110631536 (105.50645446777344MB)
73.62338638305664% used
Eden Space:
capacity = 209715200 (200.0MB)
used = 103375232 (98.5863037109375MB)
free = 106339968 (101.4136962890625MB)
49.29315185546875% used
From Space:
capacity = 209715200 (200.0MB)
used = 205423632 (195.90724182128906MB)
free = 4291568 (4.0927581787109375MB)
97.95362091064453% used
To Space:
capacity = 209715200 (200.0MB)
used = 0 (0.0MB)
free = 209715200 (200.0MB)
0.0% used
concurrent mark-sweep generation:
capacity = 5813305344 (5544.0MB)
used = 4213515472 (4018.321487426758MB)
free = 1599789872 (1525.6785125732422MB)
72.48054631000646% used
Perm Generation:
capacity = 52428800 (50.0MB)
used = 5505696 (5.250640869140625MB)
free = 46923104 (44.749359130859375MB)
10.50128173828125% used

1439 interned Strings occupying 110936 bytes.

老生代佔用內存為72%,較為合理,畢竟系統已經處理100萬個連接。
再次斷開所有測試端,看看系統內存(free -m)
total used free shared buffers cached
Mem: 15189 7723 7466 0 13 120
-/+ buffers/cache: 7589 7599
Swap: 4095 950 3145

記為list_free_2。
list_free_1和list_free_2兩次都釋放後的內存比較結果,系統可用物理已經內存已經降到7589M,先前可是7597M物理內存。
總之,我們的JAVA測試程序在內存佔用方面已經,最低需要7589 + 950 = 8.6G內存為最低需求內存吧。
GC日誌
我們在啟動腳本處設置的一大串參數,到底是否達到目標,還得從gc日誌處獲得具體效果,推薦使用GCViewer。
GC事件概覽:

其它:

總之:
只進行了一次Full GC,代價太高,停頓了12秒。
PartNew成為了停頓大戶,導致整個系統停頓了41秒之久,不可接受。
當前JVM調優喜憂參半,還得繼續努力等
小結
Java與與Erlang、C相比,比較麻煩的事情,需要在程序一開始就得准備好它的堆棧到底需要多大空間,換個說法就是JVM啟動參數設置堆內存大小,設置合適的垃圾回收機制,若以後程序需要更多內存,需停止程序,編輯啟動參數,然後再次啟動。總之一句話,就是麻煩。單單JVM的調優,就得持續不斷的根據檢測、信息、日誌等進行適當微調。

閱讀全文

與netty接收的最大數據相關的資料

熱點內容
炒股app有哪個 瀏覽:108
汽車鑰匙編程器哪個好 瀏覽:688
誤刪除文件怎麼恢復 瀏覽:885
360wifi擴展器版本升級 瀏覽:336
word批量刪除某個同一圖片logo 瀏覽:637
蘋果5應用需要證書 瀏覽:531
觸摸屏編程有哪些優勢 瀏覽:550
ps文件存儲環境 瀏覽:74
文件名怎麼改不了大小寫 瀏覽:613
眼睛驗光數據什麼樣算假近視 瀏覽:269
1在編程里代表什麼 瀏覽:193
密碼文件櫃哪裡便宜 瀏覽:949
box文件怎麼打開 瀏覽:114
線切割編程哪個好用 瀏覽:70
反詐app官方已下載怎麼注冊 瀏覽:496
安卓5flash游戲 瀏覽:895
什麼卡有免費微信提示 瀏覽:511
iphone看不了文件管理 瀏覽:783
數據包如何上傳寶貝 瀏覽:885
java獲得url參數 瀏覽:753

友情鏈接