A. 即時通訊IM系統開發
我於2014年開啟即時通訊的開發之路,歷經從服務端到客戶端,從第三方到自研,經歷過諸多的研發難題,都一一破解。現將經驗總結如下,希望對行業內從事IM開發的程序員有所幫助。
①P2P方式
P2P方式多用於區域網內聊天,這種方式在有種種限制和不便。一方面它只適合在線的點對點消息傳輸,對離線,群組等支持不夠。另一方面由於 NAT 的存在,使得不同區域網內機器互聯難度大大上升,在某些網路類型(對稱NAT)下無法建立連接。使用P2P方式的軟體在啟動後一般做兩件事情:
1、進行UDP廣播:發送自己信息和接受同區域網內其他端信息。
2、開啟TCP監聽:等待其他端進行連接。
②伺服器中轉方式
大部分的互聯網IM產品都採用伺服器中轉這種方式進行消息傳輸,相對於P2P的方式,具有有以下的優點:
1、支持更多P2P無法支持或支持不好的業務,如離線消息,群組,聊天室。
2、方便業務邏輯的拓展和新舊版本的兼容,當然它也有自己的問題,就是伺服器架構復雜,並發要求高。
通過以上的比較,建議我們在開發IM系統的時候使用伺服器中轉的方式。
IM的網路連接方式有基於TCP的長連接和基於HTTP短連接兩種:
①基於TCP的長連接
基於TCP長連接則能夠更好地支持大批量用戶,問題是客戶端和伺服器的實現比較復雜。也有一些改進,比如下行使用MQTT進行伺服器通知/消息的下發,上行使用HTTP短連接進行指令和消息的上傳。這種方式能夠保證下行消息/指令的及時性,但是在弱網路下上行慢的問題還是比較嚴重,早期的來往就是基於這種方式。
②基於HTTP短連接
常見於WEB IM系統(現在很多WEBIM都是基於WebSocket實現),它的優點是實現簡單,方便開發上手,問題是流量大,伺服器負載較大,消息及時性無法很好地保證,對大規模的用戶量支持不夠,適合小型的IM系統。
IM常見的協議有:XMPP,MQTT,私有協議。各種協議優缺點情況如下:
①XMPP協議
優點:協議開源,可拓展性強,在各個端(有各種語言的實現,對於前期入門級的開發者是很好的選擇,方便進入IM開發的程序員快速上手。
缺點:XML表現力弱,有太多冗餘信息,流量大。
常見案例:Gtalk、新浪微博、Facebook。
②MQTT協議
優點:協議簡單,流量少。
缺點:不是一個專門為IM設計的協議,多使用於推送。
③私有協議
幾乎所有主流的IM APP都是使用私有協議。
優點:高效,節約流量(一般使用二進制協議),安全性高,難以破解。
缺點:開發初期沒有現有樣列可以參考,對於參與IM開發的程序員的要求比較高。
常見案例:微信、釘釘。
根據以上的對比,我們得出結果,一個好的協議需要滿足高效、簡潔、節約流量、易於拓展等要求,同時又能夠和當前的開發團隊的技術堆棧匹配,不能選擇一個他們很難上手的。
這里再提一下,我當時開發IM系統的時候,上手用的是XMPP,在使用的過程中發現了很多問題,踩了很多坑。
①實時性原則
消息實時到達接收方,如果用戶在線,則消息實時到達,如果用戶不在線,則消息在用戶登錄後到達。由於網路波動,以及移動端操作系統對應用前後台切換的管理,如何實現用戶連接管理、消息實時推送,推送失敗的處理方式,客戶端重連機制,消息如何補齊等,都需要IM系統考慮。由於TCP開發略微復雜,早期的基於HTTP短輪詢、長輪詢的低效的技術方案,也無法達到實時性的要求。
②可靠性原則
是指我們經常聽到的「消息送達」,通常用消息的不丟失和不重復兩個技術指標來表示。可靠性是要確保消息被發送後,能夠被接收者收到。由於網路環境的復雜性,以及用戶在線的不確定性,消息的可靠性(不丟失、不重復)是IM系統的核心指標,也是IM系統實現中的難點之一。總體來說,IM系統的消息「可靠性」,通常就是指聊天消息投遞的可靠性(准確的說,這個「消息」是廣義的,因為還存用戶看不見的各種指令和通知,包括但不限於進群退群通知、好友添加通知等,為了方便描述,統稱「消息」)。
從消息發送者和接收者用戶行為來講,消息「可靠性」應該分為以下幾種情況:
1、發送失敗:對於這種情況要感知到,明確反饋給發送方。如果此消息沒有發送成功,發送方可以選擇重試或者稍後再試。
2、發送成功:如果接收方處在「在線」狀態,應該立即收到此消息。如果接收方處在「離線」狀態不能收到消息,一旦上線則立刻收到消息。
3、消息不能重復:簡言之就是發送的一條消息不能被重復收到多次。
③一致性原則
系統中要重視消息的時序問題,不能出現發送的消息順序顛倒的問題。通常出現時序的問題有以下的原因:
1、網路傳輸延遲導致時序不一致。不同用戶發送的消息到達伺服器的延時差異較大,給消息時序性帶來挑戰。早期開發過程中經常會遇到這種問題。
2、分布式系統的出現導致時序不一致。IM系統模塊眾多,接入層、消息邏輯層等、每層都分布式集群化,這些應用分布在不同的機器上,如何保證時序是個難點。
④擴展性原則
擴展性是IM系統後期要考慮的問題,包括功能的擴展,伺服器的擴展等,這次就先不展開闡述。
Mina和Netty都是java領域高性能和高可伸縮性網路應用程序的網路應用框架。
Mina是 Apache 組織的項目,它為開發高性能和高可用性的網路 應用程序提供的框架。當前的Mina版本支持基於 Java NIO 技術的 TCP/UDP 應用程序開發、串口通訊程序。目前正在使用 Mina的 軟體有:Apache Directory Project、AsyncWeb、AMQP(Advanced Message Queuing Protocol)、RED5 Server(Macromedia Flash Media RTMP)、ObjectRADIUS、Openfire等。
Netty是由JBOSS提供的一個java開源框架。Netty提供非同步的、 事件驅動的網路應用程序框架和工具,用以快速開發高性能、高可靠性的網路伺服器和客戶端程序。也就是說Netty是一個基於NIO的客戶端和伺服器端框架,使用Netty可以確保你快速和簡單的開發出一個網路應用。
雖然我使用過Mina,但是建議開發選型上使用Netty 。因為Netty有對google protocal buf的支持,有更完整的ioc容器支持(spring,guice,jbossmc和osgi)。Mina更新到2.0就不再更新了,而Netty一直在更新,目前最新發布的版本已經更新到4.1,從版本更新角度可以看出Netty的社區很活躍,修復問題一直在持續,這將對我們選擇它進行開發帶來很多便利。
單體Netty IM系統,可以支持10萬並發,如果機器性能良好的情況下可以超過10萬。
分布式的Netty IM系統,可以支持更高的並發數。各組件的功能如下:
①IM Server 連接器:主要用來負責維持和客戶端的TCP連接。
②緩存:負責用戶、用戶綁定關系、用戶群組關系的緩存。 緩存臨時數據、加快讀速度。可以做成集群方式。
③資料庫:用戶、群組、離線消息。可以做成集群方式。
④消息隊列:用戶狀態廣播、群組消息廣播。可以做成集群方式。
開發環境推薦使用netty-4.1.30這個版本,jdk使用1.8及以上版本。如下所示:
io.netty
netty-all
4.1.30.Final
①開發框架採用Netty + Spring(Spring4.x)。
②Spring採用Spring cloud。基於restful 短連接的分布式微服務架構,完成用戶在線管理、單點登錄系統。
③消息隊列採用rocketMQ 高速隊列,整流作用。
④資料庫採用MYSQL。
⑤協議jsON +自定義數據包採用Fastjson。
基於Netty的IM開源代碼在網上有很多,這里就不列舉了,可以自行去git上下載。我認為關鍵是把概念理清楚,技術堆棧選好,總體框架定好,接下來就是開發一個適合中小企業的IM系統了,但是要考慮到後期的擴展性,因為一個好的產品不能自己用,要讓更多的人使用。
B. java的mina框架做聊天室伺服器,怎麼廣播聊天信息
讓某些用戶分擔來廣播發送的工作自。
比如,有10000個用戶在聊天室內,服務端可以指定100個人先將消息發給他們,
然後,這100個人,每人再發99個人,就完成廣播的擴散了。
但是,服務端還要對本次廣播的擴散情況進行輔助管理才行。
客戶端之間的廣播傳遞,可通過UDP/TCP的「打孔技術」進行實現
C. apache mina2 怎麼將數據拆成多個包發送
遇到以上瓶頸該如何解決呢?明智的辦法就是系統拆分,將系統根據一定的標准,比如業務相關性等拆分為不同的子系統, 不同的子系統負責不同的業務功。拆分完成後,每個子系統單獨進行擴展和維護,不會影響其他子系統,從而大大提高整個網站系統的擴展性和可維護性,同時系統 的水平伸縮性也大大提升了。對於壓力比較大的子系統可以再進行擴展而不影響其他子系統,如果某個子系統出現問題也不會影響其他服務。從而增強了整個網站系 統的健壯性,更有利於保障核心業務。因此一個大型的互聯網應用,肯定是要經過系統拆分的,因為只有進行拆分,系統的擴展性、維護性、伸縮性、可用性才會變 得更好。但是拆分也會給系統帶來問題,就是子系統之間如何通信。本文介紹 MINA2 就是用來充當消息中間件解決各子系統之間的通信問題
MINA2 的原理及主要功能
MINA2 簡介
MINA2 是一個網路通信應用框架,它主要用於基於 TCP/IP、UDP/IP 協議棧的通信框架,也可以提供 Java 對象的序列化服務、虛擬機管道通信服務等。MINA2 可以幫助我們快速開發高性能、高擴展性的網路通信應用。MINA2 提供了事件驅動、非同步(MINA2 的非同步 IO 默認使用的是 Java NIO 作為底層支持)操作的編程模型。
MINA2 同時提供了網路通信的 Server 端、Client 端的封裝,無論是哪端,MINA2 在整個網路通信結構中都處於如下的位置: