在不久前結(jié)束的2023 DTC數(shù)據(jù)技術(shù)嘉年華中國(guó)數(shù)據(jù)庫(kù)創(chuàng)新論壇上，GBASE南大通用8s產(chǎn)品經(jīng)理郭茁分享了GBase 8s《基于數(shù)據(jù)復(fù)制技術(shù)的多寫多讀數(shù)據(jù)庫(kù)集群解決方案》。今天帶大家一同回顧下本次演講。

海量數(shù)據(jù)的存儲(chǔ)和運(yùn)算是目前行業(yè)內(nèi)面臨的一個(gè)重要問(wèn)題，業(yè)界目前也提出了很多解決方法。此次GBase 8s提出“基于集中式高可用技術(shù)搭載數(shù)據(jù)復(fù)制技術(shù)”，探究突破傳統(tǒng)集中式集群局限的可支持多讀多寫的集群整體解決方案。

集中式數(shù)據(jù)庫(kù)

計(jì)算集中、存儲(chǔ)集中

遵循ACID，強(qiáng)調(diào)事務(wù)處理性能和數(shù)據(jù)強(qiáng)一致性

適用于事務(wù)密集型場(chǎng)景及行業(yè)核心交易系統(tǒng)

分布式數(shù)據(jù)庫(kù)

分布式計(jì)算、分布式存儲(chǔ)

遵循CAP，強(qiáng)調(diào)可用性和擴(kuò)展性

適用于數(shù)據(jù)密集型場(chǎng)景及大數(shù)據(jù)應(yīng)用領(lǐng)域

分布式數(shù)據(jù)庫(kù)相較集中式數(shù)據(jù)庫(kù)在可用性方面具有天然優(yōu)勢(shì)，而集中式數(shù)據(jù)庫(kù)又主要應(yīng)用于行業(yè)核心交易場(chǎng)景，因此，既能突破傳統(tǒng)集群技術(shù)瓶頸又保留強(qiáng)一致性等優(yōu)勢(shì)是集中式數(shù)據(jù)庫(kù)需要重點(diǎn)關(guān)注的能力。

GBase 8s的數(shù)據(jù)復(fù)制技術(shù)GBase 8s Replication（GR）恰好為這一問(wèn)題的解決提供了助力。

數(shù)據(jù)復(fù)制就是在一個(gè)或多個(gè)地點(diǎn)產(chǎn)生數(shù)據(jù)的多份拷貝，實(shí)現(xiàn)數(shù)據(jù)共享目的。

GBase 8s Replication（GR）是基于日志的異步工具，用于在GBase 8s數(shù)據(jù)庫(kù)服務(wù)器之間復(fù)制數(shù)據(jù)。源服務(wù)器上的GR通過(guò)讀取邏輯日志，存儲(chǔ)事務(wù)并將每個(gè)事務(wù)作為復(fù)制數(shù)據(jù)可靠傳輸至目標(biāo)服務(wù)器。

GR 復(fù)制數(shù)據(jù)分為三個(gè)階段：數(shù)據(jù)捕獲、數(shù)據(jù)傳輸和應(yīng)用復(fù)制的數(shù)據(jù)。

1. 客戶端應(yīng)用程序在定義了復(fù)制的數(shù)據(jù)庫(kù)中執(zhí)行事務(wù)。
2. 該事務(wù)被寫入邏輯日志。
3. 日志捕捉組件讀取邏輯日志并將邏輯記錄傳遞到分組組件。
4. 分組組件計(jì)算需要復(fù)制的邏輯日志，并將它們分組到描述原始事務(wù)的操作的消息中。
5. 分組組件將消息添加到發(fā)送隊(duì)列。在特定情況下，發(fā)送隊(duì)列將消息臨時(shí)儲(chǔ)存到磁盤上。
6. 發(fā)送隊(duì)列通過(guò) GR 網(wǎng)絡(luò)將復(fù)制消息傳輸?shù)侥繕?biāo)服務(wù)器。
7. 復(fù)制消息被添加到目標(biāo)服務(wù)器的接收隊(duì)列中。
8. 數(shù)據(jù)同步組件將該事務(wù)應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)。如果有必要的話，數(shù)據(jù)同步組件還會(huì)執(zhí)行沖突解決。
9. 在確認(rèn)隊(duì)列中放置一條表示消息已成功應(yīng)用的消息。
10. 將確認(rèn)消息發(fā)送回到源服務(wù)器。

數(shù)據(jù)復(fù)制技術(shù)的優(yōu)勢(shì)

多寫多讀落地案例

山西省某運(yùn)營(yíng)商智能網(wǎng)

該項(xiàng)目于2017年上線，采用GBase 8s 復(fù)制集群技術(shù)，用于山西省某運(yùn)營(yíng)商的IVPN業(yè)務(wù), 4節(jié)點(diǎn)GR集群。

客戶價(jià)值

1. 實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)復(fù)制；
2. SQL平均時(shí)間小于5ms，遠(yuǎn)低于傳統(tǒng)數(shù)據(jù)庫(kù)的響應(yīng)時(shí)間；
3. 4個(gè)節(jié)點(diǎn)可以實(shí)現(xiàn)負(fù)載均衡，多節(jié)點(diǎn)寫入多節(jié)點(diǎn)查詢的功能。 

北京某商超集團(tuán)

該項(xiàng)目于2017年上線，用于該商超集團(tuán)的公司業(yè)務(wù)管理和門店結(jié)算業(yè)務(wù)。2018年上線了68節(jié)點(diǎn)的GR復(fù)制集群，用戶門店和總部的數(shù)據(jù)進(jìn)行實(shí)時(shí)交換和同步。

客戶價(jià)值

1. GR復(fù)制的節(jié)點(diǎn)多達(dá)68個(gè)；
2. 網(wǎng)絡(luò)帶寬2Mb/s，集群同步對(duì)帶寬的要求不高；
3. 門店和總部的數(shù)據(jù)庫(kù)均是可寫可讀，并進(jìn)行數(shù)據(jù)的實(shí)時(shí)同步；
4. 如果網(wǎng)絡(luò)異常，在網(wǎng)絡(luò)故障恢復(fù)之后，積壓的數(shù)據(jù)會(huì)自動(dòng)同步到對(duì)端；
5. 如果主機(jī)或數(shù)據(jù)庫(kù)異常，故障處理完畢之后，對(duì)端的數(shù)據(jù)也會(huì)自動(dòng)的完成同步。

某變電站監(jiān)控系統(tǒng)

業(yè)務(wù)系統(tǒng)為變電站的監(jiān)控系統(tǒng)，設(shè)備長(zhǎng)期處于偏遠(yuǎn)地區(qū)，服務(wù)器的工作環(huán)境較差，維護(hù)人員的IT技能相對(duì)薄弱。用戶希望數(shù)據(jù)庫(kù)具備優(yōu)秀的自維護(hù)能力。

客戶價(jià)值

1、故障期間業(yè)務(wù)系統(tǒng)切換可以在1秒之內(nèi)完成；
2、故障恢復(fù)之后數(shù)據(jù)庫(kù)中的數(shù)據(jù)可以自動(dòng)追平，無(wú)需人工干預(yù)；
3、數(shù)據(jù)庫(kù)長(zhǎng)期處于自動(dòng)恢復(fù)的狀態(tài)，不需要專職的DBA，客戶只需要維護(hù)數(shù)據(jù)庫(kù)服務(wù)器即可。