導航:首頁 > 編程大全 > dubbo處理大資料庫

dubbo處理大資料庫

發布時間:2023-09-05 23:22:35

㈠ Dubbo簡介

Dubbo是Alibaba開源的分布式服務框架,它按照分層的方式來架構,使用這種方式可以使各層解耦。

Dubbo在調用遠程的服務的時候再本地有一個介面,就想調用本地方法一樣去調用,底層實現好參數傳輸和遠程服務運行結果傳回之後的返回。

Dubbo的特點:

(1)它主要使用高效的網路框架和序列化框架,讓分布式服務之間調用效率更高。

(2)採用注冊中心管理眾多的服務介面地址,當你想調用服務的時候只需要跟注冊中心詢問即可,不像使用WebService一樣每個服務都得記錄好介面調用方式。

(3)監控中心時實現服務方和調用方之間運行狀態的監控,還能控制服務的優先順序、許可權、權重、上下線等,讓整個龐大的分布式服務系統的維護和治理比較方便。

(4)高可用,如果有服務掛了,注冊中心就會從服務列表去掉該節點,客戶端會像注冊中心請求另一台可用的服務節點重新調用。同時注冊中心也能實現高可用(ZooKeeper)。

(5)負載均衡,採用軟負載均衡演算法實現對多個相同服務的節點的請求負載均衡。

Dubbo需要四大基本組件:Rigistry,Monitor,Provider,Consumer。

1、監控中心的配置文件-bbo.properties文件

(1)容器,監控中心是在jetty和spring環境下運行,依賴於注冊中心,日誌系統是log4j

    bbo.container = log4j,spring,registry,jetty

(2)監控服務的名稱,監控系統對整個Dubbo服務系統來說也是一個服務

    bbo.application.name = simple-monitor

(3)服務的所有者,這是Dubbbo的服務的功能,可以指定服務的負責人

    bbo.application.owner = coselding

(4)注冊中心的地址,配置後監控中心就能通過注冊中心獲取當前可用的服務列表及其狀態,在頁面向你匯報Dubbo中的服務運行情況。

    bbo.registr.address = multicast://{ip}:{port} //廣播

    bbo.registr.address = zookeeper://{ip}:{port} //zookeper

    bbo.registr.address = redis://{ip}:{port} //redis

    bbo.registr.address = bbo://{ip}:{port} //bbo

(5)bbo協議埠號

    bbo.protocol.port = 7070

(6)jetty工作埠號

    bbo.jetty.port = 8082

(7)工作目錄,用於存放監控中心的數據

    bbo.jetty.directory = ${user.home}/monitor

(8)監控中心報表存放目錄

    bbo.charts.directory=${bbo.jetty.directory}/charts

(9)監控中心數據資料目錄

    bbo.statistics.directory=${user.home}/monitor/statistics

(10)監控中心日誌文件路徑

    bbo.log4j.file=logs/bbo-monitor-simple.log

(11)監控中心日誌記錄級別

    bbo.log4j.level=WARN

2、Dubbo提供負載均衡方式

(1)Random,隨機,按權重配置隨機概率,調用量越大分布越均勻,默認方式。

(2)RounRobin,輪詢,按權重設置輪詢比例,如果存在比較慢的機器容易在這台機器上請求阻塞較多。

(3)LeastActive,最少活躍調用數,不支持權重,只能根據自動識別的活躍數分配,不能靈活調配。

(4)ConsistenHash,一致性hash,對相同參數的請求路由到一個服務提供者上,如果有類似灰度發布需求可採用。

3、Dubbo過濾器

Dubbo初始化過程載入ClassPath下的META-INF/bbo/internal/,META-INF/bbo/,META-INF/services/三個路徑下的com.alibaba.bbo.rpc.Filter文件。文件內容:

    Name = FullClassName,這些類必須實現Filter介面。

自定義Filter類:

配置文件在配置過濾器,consumer.xml中:

Dubbo對過濾器的載入過程:

    先載入三個路徑下的com.alibaba.bbo.rpc.Filter文件裡面的鍵值對,key為過濾器名稱,value為過濾器的類的全限定名(這個類必須實現Dubbo中的Filter介面)。

    自定義的類中@Active註解是過濾器設定的全局基本屬性。

    Spring在載入consumer.xml文件時,通過 <bbo:consumer filter="xxx" id = "xxx" retrries = "0">這個配置指定消費者端要載入的過濾器,通過filter屬性指定過濾器名稱。

@Activate註解-自動激活,group屬性是表示匹配了對應的角色才被載入,value表示表明過濾條件,不寫則表示所有條件都會被載入,寫了則只有bbo URL中包含該參數名且參數值不為空才被載入,這個參數會以bbo協議的一個參數K-V對傳到Provider。

4、Dubbo的Provider配置

5、Dubbo的Consumer配置

1、Dubbo是什麼?

Dubbo是阿里巴巴開源的基於Java的高性能RPC分布式框架。

2、為什麼使用Dubbo?

很多公司都在使用,經過很多線上的考驗,內部使用了Netty,Zookeeper,保證了高性能可用性。

使用Dubbo可以將核心業務抽取出來,作為獨立的服務,逐漸形成穩定的服務中心,可以提高業務復用靈活性擴展,使前端應用能快速的響應對邊的市場需求。分布式架構可以承受更大規模的並發流量。

Dubbo的服務治理圖:

3、Dubbo和Spring Cloud的區別

兩個沒有關聯,但是非要說區別,有如下幾點:

(1)通信方式不同,Dubbo使用RPC通信,Spring Cloud使用HTTP Restful方式

(2)組成部分不同

4、Dubbo支持的協議

bbo://  (推薦);rmi:// ;hessian:// ;http:// ;webservice:// ;thrift:// ;memcached:// ;redis:// ;rest:// 。

5、Dubbo需要容器嗎?

不需要,如果硬要容器的話,會增加復雜性,同時也浪費資源。

6、Dubbo內置的服務容器

Spring Container;Jetty Container;Log4j Container。

7、Dubbo中節點角色

Register,Monitor,Provider,Consumer,Container(服務運行的容器)。

8、Dubbo的服務注冊和發現的流程圖

9、Dubbo的注冊中心

默認使用Zookeper作為注冊中心,還有Redis,Multicast,bbo注冊中心。

10、Dubbo的配置方式

Spring配置方式和Java API配置方式

11、Dubbo的核心配置

(1)bbo:service 服務配置

(2)bbo:referece 引用配置

(3)bbo:protocol 協議配置

(4)bbo:application 應用配置

(5)bbo:registry 注冊中心配置

(6)bbo:monitor 監控中心配置

(7)bbo:provider 提供方配置

(8)bbo:consumer 消費方配置

(9)bbo:method 方法配置

(10)bbo:argument 參數配置

12、在Provider 節點上可以配置Consumer端的屬性有哪些?

(1)timeout:方法調用超時

(2)retries:失敗重試次數,默認是2次

(3)loadbalance:負載均衡演算法,默認隨機

(4)actives消費者端,最大並發調用控制

13、Dubbo啟動時如果依賴的服務不可用會怎樣

Dubbo預設會在啟動時檢查依賴的服務是否可用,不可用時會拋出異常,阻止Spring初始化完成。默認check ="true"。

14、Dubbo序列化框架

推薦使用Hessian序列化,還有Dubbo,FastJson,Java自帶序列化。

15、Dubbo的通信框架

默認使用Netty框架,另外也提供了Mina,Grizzly。

16、Dubbo集群容錯方案

(1)Failover Cluster,失敗自動切換,自動重試其他伺服器。

(2)Failfast Cluster,快速失敗,立即報錯,只發起一次調用。

(3)Failsafe Cluster,失敗安全,出現異常時,直接忽略。

(4)Failback Cluster,失敗自動恢復,記錄失敗請求,定時重發。

(5)Forking Cluster,並行調用多個伺服器,只要一個返回成功即可。

(6)Broadcast Cluster,廣播逐個調用所有提供者,任意一個報錯則報錯。

17、Dubbo的負載均衡策略

(1)Random LoadBalance,隨機,按權重設置隨機概率,默認。

(2)RoundRobin LoadBalace,輪詢,按公約後的權重設置輪訓比例。

(3)LeastActive LoadBalace,最少活躍調用數,相同活躍數的隨機。

(4)ConsistenHash LoadBalance,一致性hash,相同參數的請求總是發到用一個伺服器。

18、指定某一個服務

可以配置環境點對點直連,繞過注冊中心,將以服務介面為單位,忽略注冊中心的提供者列表。

<bbo:reference interface="com.weidian.bbo.IMyDemo" version="1.0" id="myDemo" url="bbo://127.0.0.1:20880/"></bbo:reference>

19、Dubbo多協議

Dubbo允許配置多協議,在不同伺服器上支持不同協議,或者同一服務支持多種協議。

20、當一個服務有多種實現時怎麼做?

當一個介面有多種是現實,可以用group屬性來分組,服務提供方和消費方都指定同一個group即可。

21、兼容舊版本

使用版本號過度,多個不同版本的服務注冊到注冊中心,版本號不同的服務相互間不引用。

22、Dubbo可以緩存嗎?

Dubbo提供聲明式緩存,用於加速熱門數據的訪問速度,以減少用戶加緩存的工作量。

23、Dubbo服務之間的調用時阻塞的嗎?

默認是同步等待結果阻塞的,支持非同步調用。Dubbo是基於NIO的非阻塞實現並行調用的,客戶端不需要啟動多線程即可完成並行調用多個遠程服務,相對多線程開銷較小,非同步調用會返回一個Future對象。

24、Dubbo不支持分布式事務

25、Dubbo必須依賴的包

Dubbo必須依賴JDK,其他為可選。

26、Dubbo使用過程中的問題

Dubbo的設計目的是為了滿足高並發小數據量的rpc請求,在大數據量下性能表現不是很好,建議使用rmi或http協議。

27、Dubbo的管理控制台的作用

路由規則,動態配置,服務降級,訪問控制,權重調整,負載均衡。

28、Spring boot整合Dubbo

(1)添加依賴

        <!-- https://mvnrepository.com/artifact/com.alibaba.boot/bbo-spring-boot-project -->

        <dependency>

            <groupId>com.alibaba.boot</groupId>

            <artifactId>bbo-spring-boot-starter</artifactId>

            <version>0.1.0</version>

        </dependency>

        <!-- https://mvnrepository.com/artifact/com.101tec/zkclient -->

        <dependency>

            <groupId>com.101tec</groupId>

            <artifactId>zkclient</artifactId>

            <version>0.10</version>

        </dependency>

(2)配置bbo

    ## Dubbo 服務提供者配置

    spring.bbo.application.name=provider

    spring.bbo.registry.address=zookeeper://127.0.0.1:2181

    spring.bbo.protocol.name=bbo

    spring.bbo.protocol.port=20880

    spring.bbo.scan=org.spring.springboot.bbo

    ## Dubbo 服務消費者配置

    spring.bbo.application.name=consumer

    spring.bbo.registry.address=zookeeper://127.0.0.1:2181

    spring.bbo.scan=org.spring.springboot.bbo

㈡ 為什麼bbo不適合傳送大數據量

因bbo協議採用單一長連接,
如果每次請求的數據包大小為500KByte,假設網路為千兆回網卡(1024Mbit=128MByte),每條連接答最大7MByte(不同的環境可能不一樣,供參考),
單個服務提供者的TPS(每秒處理事務數)最大為:128MByte / 500KByte = 262。
單個消費者調用單個服務提供者的TPS(每秒處理事務數)最大為:7MByte / 500KByte = 14。
如果能接受,可以考慮使用,否則網路將成為瓶頸。

閱讀全文

與dubbo處理大資料庫相關的資料

熱點內容
壓縮文件解壓打開方式 瀏覽:86
高中生查成績用哪個app 瀏覽:874
win10家庭組無法離開 瀏覽:102
微信插件文件 瀏覽:493
不讓修改的pdf文件 瀏覽:946
會聲會影模板文件格式 瀏覽:59
iphone6郵件刪除容量 瀏覽:784
暑假編程培訓怎麼學 瀏覽:88
對商家怎麼推廣app 瀏覽:92
xplane10安卓破解 瀏覽:309
下載中國知網免費入口登入工具 瀏覽:959
台達編程軟體如何下載安裝 瀏覽:758
c程序設計試題匯編譚浩強pdf 瀏覽:28
任務欄出現的文件在哪裡 瀏覽:119
房山網路大學如何報名 瀏覽:252
磊科無線路由器忘記用戶名和密碼 瀏覽:810
怎麼快速建word文件夾 瀏覽:372
怎麼把微信pdf文件發到qq郵箱 瀏覽:736
招標人在招標文件中公布的內容 瀏覽:793
資料庫技術有哪些工程應用 瀏覽:471

友情鏈接