GBASE南大通用自主研發(fā)的GBase 8a MPP Cluster是大數(shù)據(jù)時(shí)代成熟的分析型MPP數(shù)據(jù)庫(kù)，最新GBase 8a MPP Cluster V9版本虛擬集群具有聯(lián)邦構(gòu)架、大規(guī)模并行計(jì)算、海量數(shù)據(jù)壓縮、高效存儲(chǔ)結(jié)構(gòu)、智能索引、虛擬集群及鏡像、靈活的數(shù)據(jù)分布、完善的資源管理、在線快速擴(kuò)展、在線節(jié)點(diǎn)替換、高并發(fā)、高可用性、高安全性、易維護(hù)、高效加載等技術(shù)特征。能滿(mǎn)足各個(gè)數(shù)據(jù)密集型行業(yè)日益增大的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和即席查詢(xún)等需求的能力。

GBase 8a MPP Cluster V9虛擬集群新特性

高可用進(jìn)一步增強(qiáng)

GBase 8a MPP Cluster擁有多級(jí)別的高可用技術(shù)，包括：核心進(jìn)程級(jí)別高可用技術(shù)，GCMonit組件實(shí)時(shí)監(jiān)測(cè)服務(wù)程序的運(yùn)行狀態(tài), 保證服務(wù)程序健康運(yùn)行；節(jié)點(diǎn)級(jí)別高可用技術(shù)，保證數(shù)據(jù)一致性。

新版本在集群具有多級(jí)別高可用技術(shù)的基礎(chǔ)上，使用虛擬集群鏡像技術(shù)，實(shí)現(xiàn)鏡像集群間的實(shí)時(shí)數(shù)據(jù)一致性，在數(shù)據(jù)庫(kù)側(cè)實(shí)現(xiàn)雙活及更強(qiáng)高可用性，為集群災(zāi)備、數(shù)據(jù)倉(cāng)庫(kù)+數(shù)據(jù)集市的讀寫(xiě)分離提供了可選方案。

虛擬集群

GBase 8a MPP Cluste虛擬集群極大提升集群可管理性，單套集群規(guī)模可達(dá)上千節(jié)點(diǎn)。以大規(guī)模集群為基礎(chǔ)開(kāi)發(fā)，一個(gè)集群中包含多個(gè)VC。各VC在整個(gè)集群范圍內(nèi)獨(dú)立運(yùn)行，共享統(tǒng)一的入口。權(quán)限許可的情況下，各虛擬集群間可以相互訪問(wèn)。

統(tǒng)一管理

在集群內(nèi)部進(jìn)行虛擬集群劃分，在增強(qiáng)集群的擴(kuò)展能力同時(shí)，提供統(tǒng)一的管理視圖，集群可以達(dá)到千節(jié)點(diǎn)規(guī)模。

統(tǒng)一入口

用戶(hù)選擇Coordinator cluster中的任意一個(gè)Coordinator node作為集群入口。Coordinator node根據(jù)用戶(hù)確定默認(rèn)VC。

業(yè)務(wù)隔離

GBase 8a MPP Cluste虛擬集群對(duì)集群進(jìn)行垂直資源隔離，在實(shí)際的業(yè)務(wù)場(chǎng)景中，可以實(shí)現(xiàn)不同業(yè)務(wù)的資源物理隔離；

透明訪問(wèn)

提供統(tǒng)一的訪問(wèn)入口（能夠?qū)崿F(xiàn)對(duì)倉(cāng)庫(kù)和集市的統(tǒng)一訪問(wèn)入口），應(yīng)用對(duì)多個(gè)物理集群的訪問(wèn)對(duì)應(yīng)用是透明的，對(duì)應(yīng)用來(lái)說(shuō)就是一個(gè)統(tǒng)一的集群。

數(shù)據(jù)安全進(jìn)一步提升

GBase 8a MPP Cluster數(shù)據(jù)加密是提供對(duì)數(shù)據(jù)庫(kù)落地?cái)?shù)據(jù)的加密功能，用來(lái)滿(mǎn)足用戶(hù)的安全需求，提高系統(tǒng)的安全性。數(shù)據(jù)加密按照數(shù)據(jù)文件中的DC數(shù)據(jù)塊為最小單位進(jìn)行，可以實(shí)現(xiàn)表級(jí)或者列級(jí)不同粒度的加密要求。

數(shù)據(jù)加密

動(dòng)態(tài)數(shù)據(jù)脫敏

動(dòng)態(tài)數(shù)據(jù)脫敏并不會(huì)真正改動(dòng)表中存儲(chǔ)的實(shí)際數(shù)據(jù)，只是在查詢(xún)的時(shí)候應(yīng)用該特性控制查詢(xún)返回的數(shù)據(jù)；動(dòng)態(tài)數(shù)據(jù)脫敏是否啟用受當(dāng)前用戶(hù)權(quán)限影響，擁有unmask權(quán)限的用戶(hù)不受脫敏規(guī)則影響可以訪問(wèn)實(shí)際數(shù)據(jù)，沒(méi)有unmask權(quán)限的用戶(hù)受脫敏規(guī)則影響只能訪問(wèn)到脫敏后的數(shù)據(jù)。

動(dòng)態(tài)數(shù)據(jù)脫敏

非root用戶(hù)安裝部署、運(yùn)行

為了方便用戶(hù)處理，提供一鍵部署腳本SetSysEnv.py，通過(guò)該腳本來(lái)處理root下一系列操作。在集群部署前，用戶(hù)需要將該腳本拷貝到集群所有節(jié)點(diǎn)（復(fù)合節(jié)點(diǎn)僅需執(zhí)行一次），然后，在各個(gè)節(jié)點(diǎn)的root用戶(hù)下執(zhí)行該腳本即可。非root用戶(hù)安裝、運(yùn)行功能，滿(mǎn)足系統(tǒng)級(jí)的安全要求。

非root用戶(hù)安裝部署、運(yùn)行

GBase 8a MPP Cluster V9其他新功能及改進(jìn)

支持多列哈希分布

實(shí)際應(yīng)用中有使用多列哈希作為主鍵的情況，針對(duì)這種情況，表遷移到GBase 8a之后，可以使用這些主鍵的列作為HASH列。當(dāng)主鍵與外鍵進(jìn)行連接的時(shí)候，也是多列全部進(jìn)行連接，可以在各個(gè)節(jié)點(diǎn)上直接進(jìn)行。

多列哈希分布可以解決數(shù)據(jù)分布不均勻問(wèn)題，進(jìn)一步規(guī)避單節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和運(yùn)算傾斜造成單點(diǎn)瓶頸。

支持GB18030、UTF8MB4字符集

新版本提供了對(duì)GB18030的四字節(jié)編碼部分、UTF8MB4編碼的擴(kuò)充支持，能夠解決客戶(hù)系統(tǒng)中遇到的一些生、偏、難字的問(wèn)題，以及適應(yīng)多行業(yè)迫切需要的人名、地名用字問(wèn)題。

性能提升

新版本在以下方面進(jìn)行了優(yōu)化，使性能得以大幅提升：

● 批量小文件數(shù)據(jù)加載性能優(yōu)化

● OLAP函數(shù)并行優(yōu)化

● 元數(shù)據(jù)合并

分區(qū)表

分區(qū)是數(shù)據(jù)庫(kù)領(lǐng)域中處理大數(shù)據(jù)量的一種有效的技術(shù)手段，通過(guò)使用分區(qū)，可增強(qiáng)數(shù)據(jù)庫(kù)的可用性、降低維護(hù)成本、均衡磁盤(pán)I/O，并有效改善查詢(xún)性能。

表空間

GBase 8a的表空間功能實(shí)現(xiàn)了Express引擎表的數(shù)據(jù)存儲(chǔ)路徑用戶(hù)可配置，一個(gè)表空間表示一個(gè)數(shù)據(jù)存儲(chǔ)路徑。表空間的創(chuàng)建規(guī)則是每個(gè)庫(kù)可以存在多個(gè)表空間，只有一個(gè)默認(rèn)表空間，一個(gè)表空間可以多個(gè)表使用，但一個(gè)表只能屬于一個(gè)表空間。

自增列

自增列是指定auto_increment屬性的列，自增列的列值單調(diào)遞增（不保證連續(xù)）。自增列支持在以下數(shù)據(jù)類(lèi)型的列上使用：tinyint、smallint、int、bigint。自增列可以唯一識(shí)別表中每一條記錄，可方便用于查詢(xún)、修改、刪除等操作。自增列可以唯一識(shí)別表中每一條記錄，可方便用于查詢(xún)、修改、刪除等操作。